Workflow
腾讯研究院AI速递 20250617

生成式AI 一、 GPT-5训练背后隐藏大佬 , 靠一篇 Muon 博客入职OpenAI 1. 研究员Keller Jordan仅凭一篇关于Muon优化器的博客文章成功加入OpenAI,可能正用于 GPT-5训练; 2. Muon是针对神经网络隐藏层的优化器,采用牛顿-舒尔茨迭代法实现更新矩阵正交化,训 练速度比AdamW快; 3. Keller批评优化器研究文献充斥未 能 被采用的方法,提倡在竞争性训练任务中验证新方法 有效性。 https://mp.weixin.qq.com/s/_Fw2pT9Y4Gxb3z5Tmg6ogA 二、 谷歌AI路线图,要抛弃注意力机制?Transformer有致命缺陷 1. 谷歌AI路线图承认现有Transformer注意力机制无法实现无限上下文,需要在核心架构层 面进行全新创新; 2. Gemini未来将成为谷歌的"统一线程",连接所有服务并向"主动式AI"转变,支持全模态能 力和智能体功能; 3. 谷歌重组AI团队,将研究与产品团队整合到DeepMind,加速创新节奏,Gemini 2.5 Pro 是 重大转折点。 https://mp.weixin.qq.com/s/S ...