大模型扩展的局限性 - 当前大模型行业依赖暴力数据扩展追求性能提升，但面临收益递减甚至负回报的困境 [1][2] - 学者警告 scaling law 在改善大语言模型预测不确定性方面存在严重缺陷，难以达到科学探究的可靠性标准 [2] - 这种扩展路径可能导致"退化式 AI"，即灾难性积累错误与不准确性 [4] 核心机制缺陷 - 大语言模型从高斯输入分布生成非高斯输出分布的机制是错误积累的根本原因 [5] - 极低的扩展指数导致性能提升幅度有限，例如 GPT-4.5 参数量达 5-10 万亿但科学领域无实质进展 [11][12][14] - Llama 4 Behemoth 参数量达 2 万亿但性能未达预期规模水平 [13] 扩展壁垒与准确性困局 - 扩展指数符号变化预示"壁垒"出现，超过阈值后准确性可能显著下降 [16] - 即使同质训练场景中准确性问题也经常出现，异构情境下泛化能力不足 [18][19][21] - 数字系统舍入误差随复杂性增加而明显，影响模型可靠性 [20] 替代方案尝试 - 行业尝试通过大型推理模型和 Agentic AI 提高输出可信度，但缺乏严谨科学评估标准 [25] - 思维链策略模拟人类推理，但可持续性路径仍不明朗 [26][27] - AlphaEvolve 利用大语言模型生成代码变体，用进化算法替代强化学习 [28] 退化风险与解决路径 - 使用合成数据训练的大语言模型更容易发生退化式 AI [29] - 小扩展指数引发非高斯波动，导致不确定性韧性和信息灾难 [30] - 数据增加有时反而减少信息量，如存在冲突数据或恶意注入错误信息 [31] - 构建"世界模型"可从数据中识别真实相关性，避免盲目规模扩张 [34]