Scaling Law没死,Gemini核心大佬爆料,谷歌已有颠覆性密钥
36氪·2025-12-22 09:05

公司技术路线与战略 - Google DeepMind的Gemini预训练负责人Sebastian Borgeaud预测,未来一年内,大模型预训练领域将在提升长上下文处理效率以及扩展上下文长度方面迎来重大技术创新 [1][2] - 公司内部认知发生根本性转变,工作重心从“训练模型”转向构建一个完整的、可长期运行和迭代的“系统”,这是Gemini 3实现颠覆性进步的关键 [6][7][8][31][32] - 公司高层(Jeff Dean, Oriol Vinyals, Noam Shazeer)在描述Gemini时,刻意强调其是一个“系统”而非“模型”,这反映了公司追求构建一套能反复使用、不断进化的智能工业体系,而非昙花一现的成品 [31][32][34] 行业技术发展趋势 - AI发展范式正在经历潜在转移,从过去依赖“无限数据”扩大数据集的粗放模式,转向在“数据有限”体制下,更高效利用数据资源、精雕细琢的精细模式 [10][12] - Scaling Law(缩放定律)并未消亡,而是正在演变 [6] - 未来的行业竞争焦点将从“谁的数据中心更大”转向“谁的学习算法更高效”、“谁的模型架构更优雅”、“谁能从有限数据中提取更多智慧” [12] 关键技术前沿方向 - 长上下文处理:超长上下文能力将持续创新,未来一年左右将在使长上下文更高效、并进一步扩展上下文长度方面看到更多创新,这将把模型变成真正的数字工作台,为复杂多步任务和深度研究提供可能,是迈向更强大“智能体”的关键基础设施 [1][14][16] - 注意力机制进化:在注意力机制上已有一些真正有趣的发现,这将塑造未来几个月的大量研究,可能从底层显著提升模型的理解、推理和计算效率 [4][18] - 检索技术整合:长期的答案是以可微分的方式让模型在训练和推理时学习检索外部知识库,实现检索与推理更原生的结合,动态从海量知识源获取信息,从而突破参数规模的知识容量限制 [19] - 效率与成本革命:随着用户激增,模型部署和服务成本变得至关重要,未来研究将不再只追求性能峰值,还必须关注如何让强大模型变得“便宜又好用” [21][22] 模型能力发展重点 - 当前模型并不缺“聪明”,缺的是持续思考并在复杂任务中反复修正的能力,即“慢思考”(Slow Thinking)能力 [29][30] - 模型评估标准正在变化,榜单衡量的瞬时表现重要性下降,而模型的可靠性、迁移能力以及在复杂任务中持续自我修正的能力变得更为关键 [30] - 大模型的规模依然重要,但它不再是决定一切的唯一变量,单纯靠堆参数就能不断前进的道路已接近边界 [29] 研发理念与信心 - 进步源于无数细微改进的聚合,是庞大团队中日复一日发现的那些“旋钮”和优化 [10] - 尽管面临数据瓶颈、成本挑战等现实问题,但一线研究者对AI进步的总体判断依然充满信心,认为有大量细微但确定的改进空间,整个领域尚未枯竭的创造活力,至少在未来几年,这种进步势头不会放缓 [23][25]