Self - Conditioning

搜索文档
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
36氪· 2025-09-16 15:46
很多人认为,Scaling Law 正在面临收益递减,因此继续扩大计算规模训练模型的做法正在被质疑。最近的观察给出了不一样的结论。研究发 现,哪怕模型在「单步任务」上的准确率提升越来越慢,这些小小的进步叠加起来,也能让模型完成的任务长度实现「指数级增长」,而这一 点可能在现实中更有经济价值。 这篇论文来自剑桥大学等机构。论文指出,长期以来,完成长程任务一直是深度学习的致命弱点。自动驾驶 demo 很炫酷,但要真正上路跑长途,用了十 多年才实现。AI 能生成惊艳的图片,但拍一段连贯、一致的长视频至今仍是难题。现在企业都想要 AI 帮忙处理整个项目,而不只是回答零散问题。但这 里有个核心疑问:我们该如何衡量 LLM 能可靠执行多少步的工作? LLM 在简单长任务上的失败被认为是推理能力的根本缺陷。尽管 LLM 在复杂推理基准测试上有了巨大改进,依然有论文声称思考模型只是给出了「思考 的幻觉」(arXiv:2506.06941),因为当任务变得更长时,它们最终会失败。 论文标题:The Illusion of Diminishing Returns: Measuring Long Horizon Execution ...