Workflow
推理大模型1年内就会撞墙,性能无法再扩展几个数量级 | FrontierMath团队最新研究
量子位·2025-05-13 15:11

衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 与之伴随而来的还有另一个消息: 如果推理模型保持「每3-5个月都以10倍速度增长」,那么推理训练所需的算力可能会大幅收敛。 就像DeepSeek-R1之于OpenAI o1-preview那样。 一年之内,大模型推理训练可能就会撞墙。 以上结论来自Epoch AI。 这是一个专注于人工智能研究和基准测试的非营利组织,之前名动一时的FrontierMath基准测试 (评估AI模型数学推理能力) 就出自它家。 看了这个结果,有围观网友都着急了: 既然在o3基础上再scaling非常困难,那 为啥咱不探索模块化架构或针对特定任务的专用模型呢? "效率"比"研究过剩"更重要! 推理训练还有scalable的空间 OpenAI的o1是推理模型的开山之作。 OpenAI表示,与o1相比,训练o3所需的算力提升了10倍——提升部分几乎都花在了训练阶段。 OpenAI没有公开o1、o3的具体细节,但可以从DeepSeek-R1、微软Phi-4-reasoning、英伟达Llama-Nemotron等其它推理模型。它们 所需的推理训练阶段算力耕地,但可以根据它们进行推演。 ...