Workflow
华为多路径推理破解大模型数学瓶颈,准确率超97%|ICML 2025
量子位·2025-07-03 17:00

大模型推理框架创新 - 华为诺亚方舟实验室提出全新高阶推理框架"思维森林"(FoT),借鉴人类多角度思考认知方式,构建多棵并行推理树,引入动态自我修正与多视角共识决策策略[2] - FoT打破传统LLM线性推理范式,通过稀疏激活减少计算开销,仅保留置信度最高节点提升效率[9][10] - 框架包含三大核心机制:动态自校正(实时检测路径偏差)、共识引导决策(融合多树答案集体投票)、稀疏激活(优化计算资源)[11][12][13] 技术性能突破 - 在GSM8K数据集上,FoT结合的QwQ-32B模型准确率达97.33%,超越GPT-4o和rStar-Math等先进模型[4] - AIME 2024测试中准确率提升至53.33%,较rStar-Math高出6.66个百分点[4] - 实验显示FoT在24点游戏任务中树数增加可提升14%准确率,优于传统ToT的叶子节点扩展方式[15] 多场景应用优势 - FoT与LLaMA3、Mistral、GLM等主流开源模型兼容,树数增加性能呈新型scaling law曲线提升[16] - 在MATH数据集全等级测试中保持稳定优势,复杂问题处理能力突出[17] - 框架特别适用于数学推导、科学多跳问答等需要多步严谨推理的场景[6][11] 行业影响展望 - 该方法缓解了大模型在金融风控、法律分析、科研辅助、医疗诊断等高阶推理场景的局限性[20] - 通过结构化可解释的推理机制,提升模型输出的可信度与决策稳定性[18][13] - 论文将于ICML 2025大会发表并开源,推动行业技术迭代[3][21]