OpenChat

搜索文档
又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同
搜狐财经· 2025-08-10 12:21
模型性能突破 - 2700万参数小模型HRM在ARC-AGI测试中达到40.3%准确率,超越o3-mini-high(34.5%)和Claude 3.7 8K(21.2%) [16] - 仅用1000个训练样本就实现极端数独任务近乎完美准确率,而现有思维链模型准确率为0% [16] - 在30x30迷宫任务中表现稳定,对比1.75亿参数Transformer模型准确率不足20% [18] 技术创新 - 采用仿脑设计的双层循环模块:高层模块负责慢节奏抽象规划,低层模块处理快节奏细节计算 [4][5] - 分层收敛机制避免过早收敛问题,通过高阶模块更新设定新目标 [9][11] - 近似梯度技术实现内存需求恒定且计算高效,仅需根据最终状态反推优化方向 [12] - 深度监督机制引入阶段性测试,及时纠正偏差 [13][14] - 自适应计算时间动态分配思考资源,简单任务快速响应,复杂任务延长计算 [14] 架构优势 - 克服标准Transformer的计算局限,能有效利用计算深度提升性能 [7] - 在需要大量树搜索和回溯的任务中,增加深度可提升准确率而非出现性能饱和 [7] - 对过拟合具有极强抵抗力,通过高低模块设计避免过早收敛 [18] 开发者背景 - 开发者王冠为00后清华校友,8岁开始编程,GitHub开源项目OpenChat独立开发者 [20][22] - 多次拒绝xAI等一线机构邀请,目标为颠覆Transformer架构 [22] - 2024年创办Sapient Intelligence并融资数千万美元,致力于开发全新大模型架构 [22]
又是王冠:27M小模型超越o3-mini!拒绝马斯克的00后果然不同
量子位· 2025-08-10 12:11
模型性能突破 - 27M参数小模型HRM在推理任务上超越o3-mini-high和DeepSeek-R1等大模型,且不依赖思维链技术[1][4][6] - 仅用1000个训练样本即解决极端数独和30x30迷宫等复杂任务,并在ARC-AGI测试中以40.3%准确率碾压Claude 3.7 8K(21.2%)和o3-mini-high(34.5%)[7][8][27] - 在9x9极端数独任务中实现接近100%准确率,而同类Transformer模型完全失效(0%)[27] 技术架构创新 - 采用仿脑设计的双层循环模块:高层模块负责抽象规划(慢节奏),低层模块处理细节计算(快节奏),通过时间尺度分离实现协同[10][12] - 引入分层收敛机制防止过早收敛,低阶模块根据高阶目标动态调整计算周期[16][18] - 近似梯度技术减少内存消耗,训练效率提升,内存需求恒定[19] - 深度监督机制分阶段评估学习效果,类似单元测试模式[20][21][22] - 自适应计算时间动态分配算力,简单任务快速响应,复杂任务延长计算[23][24] 行业影响与评价 - 模型参数仅2700万,但性能超越1.75亿参数Transformer(30x30迷宫任务中后者准确率<20%)[29] - 被部分观点认为可能颠覆Transformer架构,成为神经网络重大进步[31] - 设计对过拟合有极强抵抗力,专注特定领域时表现优于通用大模型[30] 开发者背景 - 创始人王冠为00后清华校友,曾独立开发GitHub 5.1k星项目OpenChat,多次拒绝马斯克xAI邀请[33][34][35][36] - 2024年创立Sapient Intelligence并获数千万美元融资,目标打造全新推理架构[38]
马斯克挖不动的清华学霸,一年造出 “反内卷 AI”!0.27B参数硬刚思维链模型,推理完爆o3-mini-high
AI前线· 2025-08-04 14:43
文章核心观点 - Sapient Intelligence推出的HRM模型以仅2700万参数规模实现复杂推理能力,超越主流大型语言模型如Claude 3.5和Gemini,且不依赖token生成[2][6][7] - HRM采用"隐性推理"架构,模仿人类大脑分层处理机制,显著提升数据效率和计算经济性,在数独、迷宫等任务中达到接近完美准确率[6][10][14] - 该模型在ARC-AGI基准测试中以40.3%得分超越o3-mini-high(34.5%)和Claude 3.7 Sonnet(21.2%),且训练资源仅需50-200 GPU小时[7][18] 模型技术突破 - **架构创新**:采用H/L双递归模块实现"分层收敛",H模块负责抽象规划,L模块执行细节计算,避免梯度消失和过早收敛问题[14][16] - **性能表现**:在仅1000个训练样本条件下,"极限数独"和"高难度迷宫"任务准确率接近100%,而主流思维链模型准确率为0%[6] - **资源效率**:训练专业级数独能力仅需2 GPU小时,ARC-AGI测试资源消耗仅为大模型的1/100,推理延迟降低100倍[18] 商业应用前景 - **目标领域**:聚焦具身AI、机器人、医疗健康和气候预测等数据稀缺领域,特别适合复杂决策和长期规划任务[9][19] - **成本优势**:相比API调用大模型,HRM可在边缘设备运行,企业级应用推理成本大幅降低[18][19] - **扩展计划**:正在开发通用推理模块和类脑模型,并加入自我修正能力,下一代产品将突破文本型系统局限[19] 团队背景 - 创始人王冠曾开发7B参数开源模型OpenChat,获5.2k GitHub stars和月均20万+下载量,拒绝XAI邀请[3] - 联合创始人郑晓明为连续创业者,团队汇聚来自XAI、DeepMind、Google等机构的顶尖科学家,参与过AlphaGo、Gemini等项目开发[3] - 公司创立于2024年8月,核心成员包括清华大学毕业生和全球AI专家[2][3]