研究背景与行业趋势 - 大语言模型的发展正从“单模型能力提升”走向“多模型协作” [2] - 不同模型各有所长，协同工作可解决更复杂问题 [2] - 当前多模型协作方法（如Mixture-of-Agents, MoA）面临成本与延迟迅速上升的挑战 [2] 现有技术瓶颈 - 标准MoA方法中，每一轮都需要调用多个模型进行推理、筛选和融合，缺乏明确的模型选择机制 [2] - 模型越多、层数越深，整体开销越高，系统效率和可扩展性面临挑战 [2] - 现有稀疏化方法（如Sparse MoA）仍需所有模型先进行推理，再筛选，无法降低初始计算成本 [3][9] - 多模型系统的效率瓶颈在于“全量推理”，而非后续的融合过程 [8][12] RouteMoA技术方案 - 核心思想是通过推理前的能力预测，避免对所有模型进行无效推理 [5] - 将模型选择从“后验判断”转变为“先验预测+轻量修正” [15] - 流程分为三步：1) 先验筛选：使用轻量级scorer根据query预测模型表现，无需大模型推理 [16]；2) 后验修正：基于已有输出进行低成本评审（Mixture-of-judges），不引入额外推理 [17]；3) 综合排序：同时优化性能、成本和延迟 [18] 实验结果与性能表现 - 在包含15个模型的大规模模型池实验中，RouteMoA显著降低了成本和延迟 [20] - 总体成本降低89.8%，延迟降低63.6%，同时整体准确率相对MoA和SMoA有所提升 [21] - 在多项任务（语言理解、阅读&问答、逻辑推理、数学推理、语言生成）上，平均准确率达到78.6%，较MoA提升10.2% [22] - 在另一组基准测试（MATH, ARC-c等）中，RouteMoA平均准确率为83.1%，优于MoA的80.9%和SMoA的82.6%，同时成本大幅降低81.4% [22] 关键洞察与失败模式分析 - 多模型系统的本质是稀疏的，绝大多数query上真正关键的模型只占少数 [23] - 实验中，scorer在Top-3内命中正确模型的概率接近98% [24] - 多模型系统的主要瓶颈正从“选谁来回答”转向“如何整合多个答案” [27] - 失败模式分析显示，超过50%的错误（50.46%）来自最终答案融合阶段（Aggregation Error） [26] - 因选错模型（Scorer Mis-routing）导致的错误仅占24.15% [26] 行业意义与范式转变 - RouteMoA提供了一种新范式：不再默认所有模型都参与，而是先判断谁值得参与，再用协作机制校正和放大正确答案 [29][31] - 随着多模型协作兴起，系统层的调度与协同正变得与模型能力本身同等重要 [29]