AI发展现状与趋势 - AI发展并未放缓,而是一条非常平滑的指数曲线,类似于摩尔定律 [4][7] - 外界感觉“变慢”的原因是AI底层范式已从预训练转向推理模型,这是继Transformer后的关键转折 [4][7] - 预训练处于S曲线上升后期,而推理模型仍处于发展初期,进步速度会相当快 [7][10] 推理模型的技术演进 - 推理模型本质是在给出答案前进行思考(思维链),允许使用工具如浏览网页 [11] - 相比于传统梯度下降训练,推理模型更多使用强化学习,通过奖励机制推动模型获取更好答案 [11] - 模型通过强化学习学会纠正自身错误,未来将转向更复杂的强化学习,融入更多人类偏好 [11] GPT-5.1版本更新实质 - GPT-5.1并非小版本更新,而是一个巨大的稳定性迭代,改进集中在后训练阶段 [14][15] - 改进包括增加安全性、减少幻觉以及添加多种风格选择(如书签子、专业) [15] - 版本命名规则改变,以用户体验为导向,内部通过蒸馏技术整合多项目成果,缩短迭代时间 [17] 模型能力与挑战 - GPT-5能解决奥林匹克竞赛题,但在小学一年级数奇偶数题目上错误百出,忽略共享点导致误判 [19][20] - 短板在于缺乏足够多模态能力,未能将推理经验迁移到相似场景 [20] - 后续训练将强化多模态推理和上下文推理迁移能力 [20] 未来AI突破方向 - 多模态推理将成为下一个突破点,目前处于起步阶段,强化学习将助其提升 [4][13] - 家用机器人可能成为继ChatGPT后最直观的AI革命,取决于多模态能力和通用强化学习的进步 [34][36] - 硬件基础迅速成熟,将协同多模态和物理世界推理能力,实现家用机器人能力跃迁 [36] AI对工作的影响 - AI不会让人类完全失去工作,高风险、高关注度场景仍倾向于依赖人类专家经验 [32][34] - 基础工作的可替代性变高,工作内容将出现变化,但人类不会无事可做 [34] Transformer诞生与OpenAI文化 - Transformer八位共同作者从未在物理房间共同出现,但从不同角度共同构建了模型 [26] - 当时业界不认同用同一模型处理多任务的想法,但团队坚信并证实了其正确性 [26] - OpenAI组织架构灵活,根据项目自发组队,内部GPU资源有限,项目间存在资源竞争 [29]
Transformer作者爆料GPT-5.1内幕,OpenAI内部命名规则变乱了
36氪·2025-12-01 09:25