大模型架构变革 - 当前大语言模型（LLM）采用思维链（CoT）技术存在任务分解复杂、数据需求大、高延迟等问题 [2] - 分层推理模型（HRM）通过循环架构实现高计算深度，仅需2700万参数和1000个训练样本即可在复杂推理任务中表现卓越 [3][4] - HRM无需预训练或CoT数据，在数独、迷宫路径查找等任务中达到近乎完美性能，并在ARC-AGI基准上超越更大模型 [5][7] HRM设计原理 - 核心灵感源于大脑分层处理和多时间尺度机制：高级模块负责抽象规划（慢速），低级模块处理细节计算（快速） [12][13] - 采用四个可学习组件（输入网络、高低级循环模块、输出网络）实现层级收敛性，H模块稳定收敛，L模块周期性重置 [14][15][17] - 通过一步梯度近似法（O(1)内存）和深度监督机制优化训练效率，避免传统BPTT算法的深层信用分配难题 [19][20][23] 性能与实验验证 - 在ARC-AGI、数独、迷宫任务中，HRM表现出类似深度优先搜索和渐进优化的底层推理算法 [31] - 训练后高层模块与低层模块自然涌现维度层级分化，而非架构固有特性 [33][34] - 具备图灵完备性，可模拟任何图灵机，通过自适应计算时间（ACT）动态调整资源分配 [35][36][27] 技术对比优势 - 相比CoT模型，HRM在符号树搜索任务（如Sudoku-Extreme）中准确率接近100%，而标准Transformer增加深度无效 [10] - 强化学习（RL）需依赖CoT能力且数据效率低，HRM通过密集梯度反馈实现连续空间运算，生物合理性更高 [37][39] - 推理阶段仅需调整计算限制参数Mmax即可扩展性能，无需重新训练 [28]