分层推理模型

搜索文档
又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同
搜狐财经· 2025-08-10 12:21
模型性能突破 - 2700万参数小模型HRM在ARC-AGI测试中达到40.3%准确率,超越o3-mini-high(34.5%)和Claude 3.7 8K(21.2%) [16] - 仅用1000个训练样本就实现极端数独任务近乎完美准确率,而现有思维链模型准确率为0% [16] - 在30x30迷宫任务中表现稳定,对比1.75亿参数Transformer模型准确率不足20% [18] 技术创新 - 采用仿脑设计的双层循环模块:高层模块负责慢节奏抽象规划,低层模块处理快节奏细节计算 [4][5] - 分层收敛机制避免过早收敛问题,通过高阶模块更新设定新目标 [9][11] - 近似梯度技术实现内存需求恒定且计算高效,仅需根据最终状态反推优化方向 [12] - 深度监督机制引入阶段性测试,及时纠正偏差 [13][14] - 自适应计算时间动态分配思考资源,简单任务快速响应,复杂任务延长计算 [14] 架构优势 - 克服标准Transformer的计算局限,能有效利用计算深度提升性能 [7] - 在需要大量树搜索和回溯的任务中,增加深度可提升准确率而非出现性能饱和 [7] - 对过拟合具有极强抵抗力,通过高低模块设计避免过早收敛 [18] 开发者背景 - 开发者王冠为00后清华校友,8岁开始编程,GitHub开源项目OpenChat独立开发者 [20][22] - 多次拒绝xAI等一线机构邀请,目标为颠覆Transformer架构 [22] - 2024年创办Sapient Intelligence并融资数千万美元,致力于开发全新大模型架构 [22]
又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同
量子位· 2025-08-10 12:11
模型性能突破 - 27M参数小模型HRM在推理任务上超越o3-mini-high和DeepSeek-R1等大模型,且不依赖思维链技术[1][4][6] - 仅用1000个训练样本即解决极端数独和30x30迷宫等复杂任务,并在ARC-AGI测试中以40.3%准确率碾压Claude 3.7 8K(21.2%)和o3-mini-high(34.5%)[7][8][27] - 在9x9极端数独任务中实现接近100%准确率,而同类Transformer模型完全失效(0%)[27] 技术架构创新 - 采用仿脑设计的双层循环模块:高层模块负责抽象规划(慢节奏),低层模块处理细节计算(快节奏),通过时间尺度分离实现协同[10][12] - 引入分层收敛机制防止过早收敛,低阶模块根据高阶目标动态调整计算周期[16][18] - 近似梯度技术减少内存消耗,训练效率提升,内存需求恒定[19] - 深度监督机制分阶段评估学习效果,类似单元测试模式[20][21][22] - 自适应计算时间动态分配算力,简单任务快速响应,复杂任务延长计算[23][24] 行业影响与评价 - 模型参数仅2700万,但性能超越1.75亿参数Transformer(30x30迷宫任务中后者准确率<20%)[29] - 被部分观点认为可能颠覆Transformer架构,成为神经网络重大进步[31] - 设计对过拟合有极强抵抗力,专注特定领域时表现优于通用大模型[30] 开发者背景 - 创始人王冠为00后清华校友,曾独立开发GitHub 5.1k星项目OpenChat,多次拒绝马斯克xAI邀请[33][34][35][36] - 2024年创立Sapient Intelligence并获数千万美元融资,目标打造全新推理架构[38]