中国开源AI模型崛起 - 中国开源模型正在改写全球竞争格局，例如DeepSeek-R1模型将开源做到了极致[4][6] - 阿里巴巴的Qwen系列模型下载量达到885万次，相当于全球每三个AI开发者中就有一个在使用[6][8] - 中国开源模型使得美国初创公司面临战略困惑，有硅谷工程师表示使用中国模型进行修改比自己从头开发节省半年时间并大幅降低成本[10] - 中美模型之间的技术差距正在缩小，中国在部分细分领域已具备竞争力，其开源策略带来了显著的信任优势[12] AI监管与政治博弈 - 美国AI监管呈现联邦与州政府之间的博弈，特朗普政府行政命令延缓了各州AI法律的实施[14][16] - 监管不确定性给企业带来负担，有AI公司抱怨需同时遵守两级法规[17][19] - AI行业游说活动激增，去年游说费用较前年增长三倍[19] AI驱动的商业应用变革 - AI正在改变购物领域，Salesforce预测今年假日购物季AI驱动的消费额将达到2630亿美元[21] - 麦肯锡预测到2030年，代理式商业规模将达到3至5万亿美元[23] - Google Gemini和OpenAI等公司正将AI深度集成至购物体验中，例如聊天机器人可帮助挑选礼物和议价[23] AI加速科学发现 - AlphaEvolve系统将大语言模型与进化算法结合，解决了多个生物领域的难题[25] - 该技术催生了多个开源版本，如OpenEvolve和SinkaEvolve[27] - 认知科学方法提升了AI的创造力，科学家利用AI生成实验方案以提升效率[27][29] AI引发的法律与责任挑战 - AI责任问题成为焦点，例如OpenAI面临与自杀案相关的诉讼，引发关于AI诱导行为的争议[31] - 监管政策影响司法，特朗普的行政命令也影响了法院对AI相关案件的考量[31][33] - 新的法律问题涌现，包括AI生成内容是否构成诽谤以及自动驾驶事故的责任归属[33] 全球AI格局演变 - 2026年AI发展的五大趋势相互影响，共同塑造未来：中国开源模型崛起、全球监管博弈、购物生态变革、科学发现加速、法律挑战升温[33][35] - 全球科技格局正从硅谷单极主导转向多极化，中国和欧洲正在争夺话语权[35][37] - AI发展同时带来解决重大全球性问题的机遇和引发失业、隐私泄露等风险的挑战[37][39]

研究背景与作者 - 研究由知名开源项目OpenEvolve的作者Asankhaya Sharma及其团队进行，该作者在AI/ML领域有显著成就，包括率先关注大语言模型的“推理时计算”并发表论文，以及开源了OptiLLM、OpenEvolve、Adaptive Classifier等知名项目 [7][8] 核心发现：模型“形状”比架构更重要 - 对于约70M参数的小模型，架构的重要性远低于普遍想象，相比之下，模型的“形状”（即深度与宽度的比例）更为关键 [1] - 在70M参数模型范围内，测试了包括LLaMA3、Qwen3、Gemma3在内的12种不同现代架构，发现它们的平均性能差异不到2%，表现惊人地相似 [26] - 现代架构的改进（如RMSNorm、RoPE、GQA）是为70亿以上参数的模型设计的，在70M参数规模下无法带来可衡量的优势 [27] - 这意味着对于小模型，精心调整的“深度-宽度配比”比选择具体的架构变体更重要 [27] 层数“玄学”与隐藏维度的关键作用 - 研究发现模型层数存在“玄学”：12层、32层、64层效果良好，而16层、24层、48层效果糟糕，其中最佳层数为32层 [2][15] - 效果“好”的层级（12L、32L、64L）平均得分约38%，效果“糟”的层级（16L、24L、48L）平均得分约32%，两个层级阵营之间的平均差距超过6个百分点 [15][16] - 这一现象背后的关键因素是“隐藏维度”，模型的隐藏维度必须大于或等于512，这是一个基础门槛 [3][18] - 当隐藏维度小于512时，模型性能会显著下降，除非其深度处于特定的“补偿”位置 [20] - 32层是“黄金补偿点”，在隐藏维度为384的情况下，32层配置取得了所有测试配置中的最高平均得分38.50%，甚至略胜于标准的12层设计（隐藏维度512，得分38.15%） [16][20][23] - 64层则属于“暴力补偿”，通过极深的层数来弥补宽度（隐藏维度256）的不足，从而也取得了约38.21%的高分 [20][16] 扩散模型的竞争优势 - 在测试的架构中，扩散模型（如dLLM, Dhara）的平均准确率（约31%-32%）略低于自回归模型（约32%-33%） [28][29] - 但扩散模型在推理速度和事实准确性（幻觉率低）方面具有显著优势 [30] - 扩散模型的推理速度比传统自回归模型快3.8倍，非常适合批量任务处理 [31] - 在所有测试架构中，扩散模型在衡量真实性的TruthfulQA基准上得分最高，dLLM-Canon模型达到了49.27% [33][34] - 通过一种称为“Canon层”（一种精心设计的卷积层）的特殊结构，可以进一步提升模型的事实准确性，为普通模型提升约1%，为扩散模型提升超过2%，而参数开销仅增加0.13% [35][36] 高效模型转换方法与新模型发布 - 利用LLaDA 2.0论文中的Warmup-Stable-Decay方法，可以将现有的自回归模型高效转换为扩散模型，所需数据量、成本和训练时间仅为从头训练的十分之一 [38][39] - 这种转换方法不仅结果与从头训练相当，而且在多项基准测试上超越了后者 [39] - 基于所有研究发现，团队推出了集大成的Dhara-70M模型，该模型参数为71.34M，采用32层（黄金深度）和384隐藏维度的最佳形状配置 [41][44] - Dhara-70M的构建方法是：首先采用最佳的自回归架构，然后使用WSD方法将其转换为扩散模型，从而兼具自回归模型的知识储备和扩散模型的吞吐量与事实性优势 [42][43] 对小模型构建者的实践启示 - 对于资源有限的小语言模型构建者，不应盲目追求最新的架构改进，而应首先关注基础的“深度-宽度配比”，确保模型不落入性能低下的“死亡区域” [45] - 如果应用场景需要高速处理且对事实准确性要求高，那么扩散模型是一个极具竞争力的选择 [45]

AI驱动的算法研究 - 加州大学伯克利分校研究团队提出AI驱动的系统研究方法ADRS，通过“生成—评估—改进”的迭代循环实现算法持续优化[1] - 基于开源框架OpenEvolve的案例研究表明，AI发现的算法显著优于人类设计算法，实现高达5倍的运行效率提升或26%的成本降低[2] 算法性能提升案例 - 在遥测修复任务中，AI算法比已发布解决方案的计数器修复得分提高9%，置信校准得分提高30%，耗时8小时且成本低于10美元[3] - 专家并行负载均衡器算法在保持相同平衡度的同时，运行时间比内部实现快2倍，耗时5小时且成本低于10美元[3] - 全局模型放置算法比已发布解决方案成本降低18.5%，仅需40分钟且成本低于85美元[3] - 在多区域spot实例调度中，AI算法比单区域基线成本降低26%，耗时1小时且成本低于22美元[3] 专家并行负载均衡技术 - 大型语言模型采用混合专家架构时面临关键性能挑战，即如何在各专家间实现负载均衡，避免某些专家“热点化”导致计算瓶颈[4] - 专家并行负载均衡器算法通过动态调整专家在GPU间的分布，追求最小化负载不均衡和最小化运行时间两个核心目标[6] 算法优化过程 - 研究团队使用OpenEvolve搜索EPLB算法，优化目标包含最大化负载均衡因子和降低算法运行时间的双重维度[8] - 实验采用80% Gemini 2.5 Flash与20% Gemini 2.5 Flash Lite混合配置，进化过程以开源贪心算法作为初始程序，设置300次迭代上限，完整流程耗时约五小时且成本低于10美元[8] 创新算法设计 - OpenEvolve生成的新算法发现巧妙启发式方法，通过对专家索引张量进行重塑与转置，利用PyTorch高速张量操作以“之字形”交错分配专家[10][12] - 该算法在保持与其他基线相当负载平衡因子的同时，将运行时间缩短至仅3.7毫秒，较内部参考实现性能提升达5倍[12] 相关研究进展 - Nature报道类似研究，Oh及其同事开发能发现新型强化学习算法的元学习算法，该算法在多项陌生任务中表现超越人类设计的强化学习算法[18][20][22]

文章核心观点 - AI已从单纯使用算法发展到能够自主创造新算法的阶段，其创造的算法在性能上显著超越人类设计[1][2] - 加州大学伯克利分校提出的ADRS系统通过"生成-评估-改进"的迭代循环实现算法持续优化，其发现的算法比人类设计算法快5倍或降低成本26%[2][4] - 在专家并行负载均衡等具体案例中，AI创造的算法实现了运行时间从19.6毫秒缩短至3.7毫秒的5倍性能提升[25] ADRS系统研究方法 - ADRS系统采用"生成—评估—改进"的迭代循环实现算法持续优化[2] - 基于开源框架OpenEvolve在多个领域案例研究表明，发现的算法显著优于人类设计算法[4] - 在专家并行负载均衡器优化案例中，通过300次迭代耗时约5小时，成本低于10美元即发现更优算法[19] 算法性能提升案例 - 专家并行负载均衡器优化：运行时间从19.6毫秒缩短至3.7毫秒，性能提升达5倍[14][25] - 全局模型放置优化：成本比已发布解决方案降低18.5%[5] - LLM-SQL优化：运行速度提升3.9倍[5] - 多区域实例调度：成本比单区域基线降低26%[5] - 事务调度优化：比贪心算法性能提升20%[5] 专家并行负载均衡技术细节 - 混合专家架构中路由器将输入文本token动态分配给特定专家网络，仅使用模型总参数的一小部分提升推理效率[6] - 专家并行负载均衡器通过动态调整专家在GPU间分布，最小化负载不均、最大化系统吞吐量[9] - 基础版EPLB算法分三阶段：确定专家副本数量、映射副本到GPU、优化负载均衡[10][12] - AI发现的新算法采用"之字形"张量操作在高负载与低负载GPU间交错分配专家，替代传统的线性for循环[20][23] 相关研究进展 - Nature报道的元学习算法能发现新型强化学习算法，在多项陌生任务中表现超越人类设计算法[34][35][38] - 该研究的元学习层采用神经网络充当强化学习算法，命名为元网络[36] - AI在算法创新领域的突破表明其具备自主创新能力，可能自主产生下一个重大突破[39][40]

根据提供的研报内容，以下是量化模型与因子的总结： 量化模型与构建方式 1. **模型名称：ML-Master** - **模型构建思路**：模拟人类专家的认知策略，通过"探索-推理深度融合"范式解决AI4AI系统的三大瓶颈：探索效率低下、推理能力受限以及模块割裂问题[12] - **模型具体构建过程**： - 采用蒙特卡洛树搜索的并行化改造，将AI开发过程建模为动态决策树，每个节点代表一个潜在解决方案状态[13] - 通过实时评估75个Kaggle任务分支的潜力值，动态分配计算资源[13] - 可控推理模块通过自适应记忆机制筛选历史探索中的关键代码片段、性能指标和跨节点洞察[13] - 构建闭环进化系统，探索阶段收集的代码执行结果通过智能过滤后嵌入推理模型的"think"环节，而推理输出的优化方案又反向指导后续探索路径[15] 2. **模型名称：OpenEvolve** - **模型构建思路**：通过自主进化代码优化GPU核函数，实现性能提升[22] - **模型具体构建过程**： - 通过25代进化迭代，自主发现三项关键优化策略[23] - 采用多模型协同的进化架构，主模型Gemini-2.5-Flash负责快速探索，辅助模型Gemini-2.5-Pro进行深度优化[24] - 将Metal核函数源代码划分为可进化区块，通过岛屿模型并行进化5个子种群，每代种群规模25个个体[24] - 评估环节采用高鲁棒性设计，包含Metal命令缓冲区保护、内存访问违规处理、指数退避重试等安全机制[25] 3. **模型名称：盘古Pro MoE 72B** - **模型构建思路**：通过分组混合专家模型（MoGE）重构传统MoE架构，解决跨设备负载不均衡问题[28] - **模型具体构建过程**： - 将64个专家划分为8组并强制每组激活等量专家[28] - 结合昇腾原生算子优化，形成从算法设计到硬件部署的全栈创新[28] - 通过动态负载均衡技术将云端推理成本降低40%[30] 4. **模型名称：文心大模型4.5系列** - **模型构建思路**：通过MoE架构的多模态异构改造，解决模态间梯度冲突导致的性能折损[47] - **模型具体构建过程**： - 采用模态隔离路由技术将文本与视觉专家分组并行训练，配合自适应模态感知损失函数[47] - 训练效率方面，飞桨框架的异构混合并行策略将FLOPs利用率提升至47%[47] - 推理环节采用动态角色转换的预填充解码技术，使21B模型在昇腾910B芯片上的吞吐量达到1528 tokens/s[47] 5. **模型名称：AniSora V3** - **模型构建思路**：通过强化学习与人类反馈框架（RLHF）优化动漫视频生成质量[50] - **模型具体构建过程**： - 采用时空掩码模块动态调节时空维度的注意力权重[51] - 训练采用经过清洗的1000万高质量动漫片段数据集[51] - 引入专为动漫设计的RLHF框架，集成AnimeReward和GAPO工具[51] 模型的回测效果 1. **ML-Master模型** - 在MLE-bench基准测试中以29.3%的平均奖牌率夺冠，显著超越微软R&D-Agent（22.4%）和OpenAI自研的AIDE系统（16.9%）[12] - 中等难度任务奖牌率提升至20.2%，达到基线方法的2.2倍[13] - 高难度任务表现提升30%，远超微软系统的18.7%[13] 2. **OpenEvolve模型** - 在Transformer推理任务中实现了平均12.5%的性能提升，峰值性能提升106%，整体表现超越人类工程师手动优化版本21%[22] - 在20项基准测试中，解码速度平均提升12.5%，预填充速度提升14.4%，总吞吐量提升10.4%[25] 3. **盘古Pro MoE 72B模型** - 在昇腾800I A2上实现单卡1148 tokens/s的基础吞吐，通过MTP解码技术进一步跃升至1528 tokens/s[29] - SuperCLUE中文大模型基准测评显示，其以58.75分位列开源模型第五[29] 4. **文心大模型4.5系列** - 424B多模态模型在OCRBench文档理解评测中以885分刷新开源记录[48] - 0.3B版本在MMLU通用测试得41.9分，但在特定任务中通过微调后关键指标反超未优化的30B模型[48] 5. **AniSora V3模型** - 在VBench测试中角色一致性得分达到9.2/10，较V2版本提升23%[51] - 生成4秒1080p视频仅需2-3分钟，单位能耗成本降低34%[52] 量化因子与构建方式 （研报中未提及具体的量化因子构建内容） 因子的回测效果 （研报中未提及具体的因子测试结果） 以上总结涵盖了研报中提到的所有量化模型及其构建思路、具体构建过程和回测效果，未包含风险提示、免责声明等无关内容。