Hierarchical Reasoning Model(HRM)

搜索文档
又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同
量子位· 2025-08-10 12:11
模型性能突破 - 27M参数小模型HRM在推理任务上超越o3-mini-high和DeepSeek-R1等大模型,且不依赖思维链技术[1][4][6] - 仅用1000个训练样本即解决极端数独和30x30迷宫等复杂任务,并在ARC-AGI测试中以40.3%准确率碾压Claude 3.7 8K(21.2%)和o3-mini-high(34.5%)[7][8][27] - 在9x9极端数独任务中实现接近100%准确率,而同类Transformer模型完全失效(0%)[27] 技术架构创新 - 采用仿脑设计的双层循环模块:高层模块负责抽象规划(慢节奏),低层模块处理细节计算(快节奏),通过时间尺度分离实现协同[10][12] - 引入分层收敛机制防止过早收敛,低阶模块根据高阶目标动态调整计算周期[16][18] - 近似梯度技术减少内存消耗,训练效率提升,内存需求恒定[19] - 深度监督机制分阶段评估学习效果,类似单元测试模式[20][21][22] - 自适应计算时间动态分配算力,简单任务快速响应,复杂任务延长计算[23][24] 行业影响与评价 - 模型参数仅2700万,但性能超越1.75亿参数Transformer(30x30迷宫任务中后者准确率<20%)[29] - 被部分观点认为可能颠覆Transformer架构,成为神经网络重大进步[31] - 设计对过拟合有极强抵抗力,专注特定领域时表现优于通用大模型[30] 开发者背景 - 创始人王冠为00后清华校友,曾独立开发GitHub 5.1k星项目OpenChat,多次拒绝马斯克xAI邀请[33][34][35][36] - 2024年创立Sapient Intelligence并获数千万美元融资,目标打造全新推理架构[38]