SuperCLUE最新评测:文心X1.1精确指令遵循国内第一
测评结果与排名 - 在SuperCLUE-CPIF中文精确指令遵循测评中,文心X1.1以75.51分位居国产大模型第一 [1] - 在任务类型和指令数量两类划分中,文心X1.1均为国内榜首 [1] - 测评涵盖10个国内外模型,DeepSeek-V3.2-Exp-Thinking和Hunyuan-T1-20250822分别以73.98分和65.82分位居国内第二、三位 [1] 模型能力与技术优势 - 文心X1.1在实际生产环境中应用具有显著优势,重点评估模型将自然语言指令转化为符合所有要求的具体输出的能力 [1] - 模型采用迭代式混合强化学习训练框架,通过混合强化学习同时提升通用任务和智能体任务的效果 [1] - 通过自蒸馏数据的迭代式生产及训练,不断提升模型整体效果 [1] - 在处理复杂写作任务时,能运用内化知识、调用联网搜索工具准确查找信息,并深度思考用户创意写作的立意和要求 [2] - 在复杂长程任务场景中,能严格遵循业务流程规划、自主调用工具并结合用户情绪解决问题 [2] 性能提升与技术进步 - 相比文心大模型X1,文心X1.1的事实性提升34.8%,指令遵循提升12.5%,智能体提升9.6% [2] - 公司依托"芯片-框架-模型-应用"的全栈自研体系,持续推动文心大模型能力进化 [2] - 得益于飞桨文心的联合优化,文心大模型的能力拓展和效率提升 [2]