西风 发自 凹非寺 量子位 | 公众号 QbitAI 该测试引来 OpenAI前A GI Readine ss团队负责人Miles Brundage 的转发关注。 OpenAI"最新最强版"推理模型 o3-pro ，实际推理能力到底有多强？ 全球 首位全职提 示工程师Riley Go odside 来给它上难度： 说出歌手Sabrina Carpenter的一首歌的歌名，回答这个问题时， 每个单词最后一个字母连起来看，也能对应这首歌名 。 结果，o3-pro在经过4分25秒的推理过后，成功给出正确答案。 经Sabrina Carpenter实测， o3只能做对个大概 ，通常只能把最后几个字母凑对。 虽然人已经不在OpenAI了，但Miles Brundage还是替老东家直接开大阴阳苹果：如果这都不叫推理那什么叫推理。 PS： 苹果前几天发了个新研究 ，用汉诺塔等四个小游戏测试大模型，称推理模型全都没在真正思考，只是另一种形式的"模式匹配"，所谓思 考只是一种假象。 除了网友实测外，各大评测榜单已陆续同步更新排名。 总结来看，和官方给的测试结果略有不同。 官方测评中，o3-pro超越o3、o1-pro，成为当前 ...

要知道，过去几年，各种通用评测逐渐同质化，越来越难以评估模型真实能力。GPQA、MMLU-pro、MMLU等流行基准，各家模型出街时人 手一份，但局限性也开始暴露，比如覆盖范围狭窄（通常不足 50 个学科），不含长尾知识；缺乏足够挑战性和区分度，比如 GPT-4o 在 MMLU-Pro 上准确率飙到 92.3%。 不过别慌，大模型通用知识推理评测"强化版"来了，堪称大模型评测里的"黄冈密卷"！ 允中 发自 凹非寺 量子位 | 公众号 QbitAI 大模型刷榜 MMLU、屠榜 GPQA 的玩法一夜变天？？？ 近日，字节跳动豆包大模型团队联合 M-A-P 开源社区，推出了全新评测基准 SuperGPQA 。 我们翻看论文，细品一番，足足 256 页。据了解，该评测搭建工作耗时半年，近百位学界学者及名校硕博、业界工程师参与标注。 研究团队构建了迄今为止最全面，覆盖 285 个研究生级学科、包含 26529 道专业题目的评估体系。 实验证明，即便最强的 DeepSeek-R1 在 SuperGPQA 上准确率也才 61.82%，在及格线上挣扎，显著低于其在传统评估指标上的表现。 SuperGPQA 精准直击大模型评测 ...