腾讯姚顺雨团队发布署名论文,让模型“上下文学习”真正走向现实
行业技术挑战与现状 - 当前最先进的大语言模型在利用上下文进行实时学习方面存在显著能力短板 即使抹平信息差也未必能解决问题[2] - 研究构建的CL-bench基准测试显示 全球排名前十的语言模型平均任务解决率仅为17.2% 表明模型尚不善于从上下文中学习新知识并应用[3] - 大语言模型虽在解决结构化难题方面表现优异 但在应对需要从文档、规则或日志等上下文中实时学习的真实世界任务时 表现仍有待提升[2] 腾讯混元的研究与方向 - 腾讯混元团队联合复旦大学发布研究 指出让大模型学会“从上下文中学习”远比想象中困难 并首次公开其技术博客[1][2] - 该研究是首席AI科学家姚顺雨加入腾讯后团队首次发布成果 其研发思路侧重于打造实用模型和评估能力[1][4] - 团队推出的CL-bench基准包含500个复杂上下文、1,899个任务和31,607个验证标准 专门用于评估模型从上下文中学习新知识的能力[3] 未来技术演进与行业影响 - 研究指出 强化模型的上下文学习能力是大语言模型后续迭代的一个重要方向[3] - 若上下文学习能力得到提升 人类在AI系统中的角色可能从主要数据提供者转变为上下文提供者[3] - 行业竞争焦点可能从“谁能把模型训练得更好”转向“谁能为任务提供最丰富、最相关的上下文”[3] - 模型如何记忆可能成为2026年大模型发展的核心主题之一 可靠的上下文学习与记忆可能使模型实现自主学习[4]