Workflow
又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同
搜狐财经·2025-08-10 12:21

模型性能突破 - 2700万参数小模型HRM在ARC-AGI测试中达到40.3%准确率,超越o3-mini-high(34.5%)和Claude 3.7 8K(21.2%) [16] - 仅用1000个训练样本就实现极端数独任务近乎完美准确率,而现有思维链模型准确率为0% [16] - 在30x30迷宫任务中表现稳定,对比1.75亿参数Transformer模型准确率不足20% [18] 技术创新 - 采用仿脑设计的双层循环模块:高层模块负责慢节奏抽象规划,低层模块处理快节奏细节计算 [4][5] - 分层收敛机制避免过早收敛问题,通过高阶模块更新设定新目标 [9][11] - 近似梯度技术实现内存需求恒定且计算高效,仅需根据最终状态反推优化方向 [12] - 深度监督机制引入阶段性测试,及时纠正偏差 [13][14] - 自适应计算时间动态分配思考资源,简单任务快速响应,复杂任务延长计算 [14] 架构优势 - 克服标准Transformer的计算局限,能有效利用计算深度提升性能 [7] - 在需要大量树搜索和回溯的任务中,增加深度可提升准确率而非出现性能饱和 [7] - 对过拟合具有极强抵抗力,通过高低模块设计避免过早收敛 [18] 开发者背景 - 开发者王冠为00后清华校友,8岁开始编程,GitHub开源项目OpenChat独立开发者 [20][22] - 多次拒绝xAI等一线机构邀请,目标为颠覆Transformer架构 [22] - 2024年创办Sapient Intelligence并融资数千万美元,致力于开发全新大模型架构 [22]