根据提供的研报内容,以下是量化模型与因子的详细总结: 量化模型与构建方式 1. 模型名称:Llama-Nemotron - 模型构建思路:通过神经架构搜索(NAS)和垂直压缩技术优化推理效率,结合知识蒸馏和强化学习提升模型推理能力[14][15][16] - 具体构建过程: 1. 神经架构搜索阶段:使用Puzzle框架进行块级局部蒸馏,构建Transformer模块库,通过混合整数规划(MIP)求解器选择最优配置 (其中代表模块计算成本,为选择变量)[16][17] 2. FFN融合技术:识别连续FFN块并替换为更宽的并行层,减少序列深度[19][20] 3. 知识蒸馏与预训练:使用Llama 3.1-405B-Instruct作为参考模型恢复质量损失[21] 4. 监督微调:采用带推理轨迹的合成数据训练,构建"推理开关"指令响应机制[22][23] 5. 强化学习:采用GRPO算法进行14万H100小时的STEM领域训练[24] - 模型评价:在GPQA-Diamond基准测试中实现57.1%准确率,推理效率较DeepSeek-R1提升30%[15][23][26] 2. 模型名称:VPP(Video Prediction Policy) - 构建思路:基于AIGC视频扩散模型开发两阶段学习框架,解决机器人动作预测与执行问题[36][38] - 具体构建过程: 1. 第一阶段:视频扩散模型学习预测性视觉表征,提取单步去噪的中间层特征[40] 2. 第二阶段:通过Video Former和DiT扩散策略生成动作指令,控制频率达50Hz[38][40] 3. 多本体适配:直接学习不同机器人/人类视频数据,消除动作维度限制[41] - 模型评价:在Calvin ABC-D测试中任务完成长度达4.33(满分5.0),真机成功率67%[42][44] 模型的回测效果 1. Llama-Nemotron模型 - GPQA-Diamond准确率:57.1%(5-shot CoT)[53] - MMLU Pro准确率:77.2%(5-shot CoT)[53] - 推理延迟:较基线降低40%[16][20] 2. VPP模型 - Calvin ABC-D任务长度:4.33/5.0[42] - 真机操作成功率:67%[42] - 预测频率:6-10Hz,控制频率50Hz[40] 量化因子与构建方式 1. 因子名称:FFN Fusion效率因子 - 构建思路:通过前馈网络融合技术提升Transformer计算利用率[19][20] - 具体构建: 其中代表序列计算步骤数,实测提升多GPU环境吞吐量28%[20] 2. 因子名称:视频扩散预测置信度 - 构建思路:量化单步去噪特征包含的未来信息量[40] - 具体构建: (为特征向量,实测150ms预测窗口准确率达92%)[40][41] 因子的回测效果 1. FFN Fusion效率因子 - 计算利用率提升:28%[20] - 跨GPU通信开销降低:35%[20] 2. 视频扩散预测置信度 - 动作预测准确率:92%[40] - 错误率衰减速度:每帧降低15%[41] 注:部分模型(如Mi-BRAG、NetMaster)因缺乏量化构建细节未列入,测试结果均来自原文基准数据集[53][42]
AI动态汇总:英伟达Llama-Nemotron模型表现优异,小米Mi-BRAG智能引擎亮相
中邮证券·2025-05-14 21:08