Workflow
证明者 - 验证者训练方法
icon
搜索文档
全网苦等GPT-5,超级对齐团队遗作成重要线索,奥特曼发话「惊喜很多」
36氪· 2025-08-04 11:28
那么,在等待的过程中,我们来看看这次 GPT-5 的「疑似王牌」之一:通用验证器(universal verifier)。 最近整个 AI 圈的目光似乎都集中在 GPT-5 上,相关爆料满天飞,但模型迟迟不见踪影。 我们报道了 The Information 扒出的 GPT-5长文内幕,奥特曼似乎也坐不住,发了推文表示「惊喜很多,值得等待」。 据知情人士透露,OpenAI 一直在开发一种研究人员称之为「通用验证器」的东西,这个东西可能是 GPT-5 中用到的重要技术。 这个概念源于 OpenAI 去年发表的一篇论文。它解决的问题是:当 LLM 仅优化答案正确性时,其推理过程(如 Chain-of-Thought)变得难以被人类或小型 模型理解和验证,导致「可解释性」下降。但在高风险应用中,用户需要能快速、准确判断模型输出是否正确,而不仅是输出答案本身。 为此,该论文提出了一套已准备好投入生产的技术管线,其核心在于:让一个「验证者」小模型来为「证明者」大模型的推理链打分,并将其作为奖励信 号反馈给大模型进行策略更新。 论文标题:Prover-Verifier Games improve legibility o ...
全网苦等GPT-5,超级对齐团队遗作成重要线索,奥特曼发话「惊喜很多」
机器之心· 2025-08-03 12:21
GPT-5技术进展 - OpenAI正在开发名为"通用验证器"的技术,可能是GPT-5的核心组件之一[1] - 该技术源于OpenAI去年发表的论文,通过小模型验证大模型的推理链并反馈奖励信号[1] - 验证者模型设计轻量化,适合大规模部署,明确为未来GPT部署准备[4] 证明者-验证者机制 - 采用双人格架构:证明者生成严谨推理,欺骗者植入错误逻辑[6] - 通过左右脑互搏游戏提升模型输出质量,类似GAN的对抗训练模式[5] - 训练方法使模型逐步产生结构清晰、逻辑严密的答案[9] 技术突破意义 - 代表AI发展从数据堆料转向架构创新的新阶段[11] - 可能突破当前数据瓶颈,实现更高级别的通用人工智能[11] - 系统将整合到未来主流模型的RLHF流程中[11] GPT-5实际表现 - 泄露版本显示存在GPT-5和5 Pro两个子版本[15] - 已具备生成动态效果丝滑的动画内容能力[17] - 可还原复杂游戏场景如Doom片段,展示强大生成能力[19] 行业影响 - 技术来自OpenAI已解散的超级对齐团队,显示持续研发路径[13] - 行业期待值达到新高,普遍认为将开启AI新时代[20][22] - OpenAI此前已在GPT-4代码助手中测试类似"批评家"机制[10]