多模态大模型技术突破 - OThink-MR1技术通过动态强化学习框架显著提升多模态语言模型的泛化推理能力，突破传统方法的局限性[1][7][29] - 传统监督微调(SFT)方法在特定任务表现良好但缺乏通用推理能力，而强化学习(RL)存在训练约束导致次优瓶颈的问题[4][5] 核心技术机制 - 动态KL散度策略(GRPO-D)动态调整探索与利用的平衡，避免模型陷入局部最优解[8][10][11][12] - 双奖励模型设计包含验证准确性奖励和格式奖励，通过多维度反馈提升模型学习效率[13][14][15] 实验验证结果 - 同任务评估中GRPO-D表现超越监督微调方法，在视觉计数和几何推理任务成绩提升显著[17][18][28] - 跨任务评估显示GRPO-D模型在完全不同的任务类型间展现强泛化能力，成绩较未训练模型大幅提高[21][22][23][24] - 格式奖励权重非零时模型表现更优，KL散度权重需适中调节以取得最佳效果[17][18] 行业影响 - 该技术为多模态语言模型发展开辟新路径，展现动态强化学习在提升推理与泛化能力方面的潜力[29] - 技术由OPPO研究院与香港科技大学(广州)联合研发，论文已公开发表于arXiv平台[30]

衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 一个超越DeepSeek GRPO的关键RL算法 出现了！ 用上该算法后，Qwen2.5-32B模型只经过RL训练，不引入蒸馏等其他技术，在AIME 2024基准上拿下50分，优于相同setting下使用GRPO 算法的DeepSeek-R1-Zero-Qwen，且DAPO使用的训练步数还减少了50%。 这个算法名为DAPO，字节、清华AIR联合实验室SIA Lab出品，现 已开源 。 论文通讯作者和开源项目负责人都是一个叫Qiying Yu的人 。 我们还从知情人士处得知了禹棋赢的另一重身份—— 在字节大模型团队内部负责打造"能力显著提升的下一代语言模型"的攻坚小组中，禹棋赢是唯一的实习生。 虽然是实习生，但在这个大神云集的小组里， 禹棋赢被委以重任，直接负责RL方向的研究 。 凭什么？ 事情要从去年夏天说起。 去年10月，他在字节第一个跑出aha moment 去年5月，字节启动「Top Seed人才计划」，最终录取多名应届和在读博士组成史无前例的AI研究团队，禹棋赢就在其中。 为期2个月的warm up landing （类似可自由探索的适应期） 后 ...

文章核心观点 国产人形机器人取得进展，NOETIX Robotics松延动力的N2机器人实现连续空翻且价格亲民，其背后是硬件、算法和工程化的创新，清华创业团队展现出强大的技术和产品化能力，推动行业发展 [1][7][33] 分组1：N2机器人亮点 - 全球首个在「室内外多场景」连续空翻一镜到底的机器人，动作稳定流畅，落地后能站稳 [1][2][3] - 身高1.2米，体重30公斤，小巧灵活，具备大步行走、奔跑、单双脚跳跃及舞蹈等多种运动能力，奔跑速度实测最快可达每秒3.5米 [3] - 全身有18个自由度，单腿各有5个自由度，单臂各有4个自由度，能完成高难度动作 [9] - 单脚跳跃稳健，抗干扰能力强，摔倒后能迅速恢复正常运行 [10][11][12] - 已将量产提上日程，3.99万起售，标配二次开发接口，有三种颜色可选 [13][14] - 机身集成多个外置硬件接口，方便开发者进行二次开发，可用于科研、安防巡检等领域 [15] 分组2：N2实现连续空翻的技术路径 - 硬件架构：采用自由度精简策略，主打轻量化和抗摔性能，减少非核心自由度，选用球轴承和高强铝合金 [19][21][23] - 算法融合：实现模型预测控制（MPC）与强化学习（RL）的协同，采用课程学习技术分阶段训练 [24] - 工程化实践：以抗摔设计驱动迭代效率，采用成本导向的可靠性设计，零部件高度国产化，结构易于生产装配 [25][26][28] 分组3：清华创业团队情况 - 准00后创业团队，核心成员来自清华、浙大、南加大等高校，创始人姜哲源本科清华电子系，研究方向为深度强化学习足式机器人运动控制 [30] - 成立一年多完成三大产品布局，包括运动员N2、通用型人形机器人E1、仿生机器人Hobbs，技术和应用场景各有侧重 [31] - 一年多收获5轮2亿融资，团队能力、技术水平和产品化能力获资本认可 [32] 分组4：行业发展情况 - 春节以来国产人形机器人持续有新动作，体现「硬件 - 算法 - 场景」三角闭环下的产业技术升级 [33] - 更多本土化年轻团队崭露头角，成为行业发展主力军 [34] - N2之后团队还将推出升级版新品E1系列 [36]

阿里通义开源RL新模型 - 阿里通义开源了QwQ-32B RL新模型 性能比肩满血DeepSeek R1 在AIME24数学测试和LiveCodeBench代码评估中表现优异 [1] - 该模型采用创新训练方法 通过校验生成答案正确性提供反馈 相比传统奖励模型训练时间大幅缩短 [2] - 公司预告将在Qwen Chat平台发布QwQ-Max-Preview模型 并承诺持续开源更多RL模型 [3][4][5] 大模型本地化部署进展 - 高性能大模型本地部署门槛显著降低 仅需NVIDIA 4090显卡或24G内存以上Mac mini即可实现 成本控制在4位数人民币 [6] - 苹果Mac Studio搭载M3 Ultra芯片(32核CPU/80核GPU)可实现满血DeepSeek-R1本地化运行 速度达20token/s 价格从70万降至7万人民币 [8][9] - 512GB内存配置的Mac Studio可支持更强大本地AI运算能力 [11][12] AI行业发展趋势 - RL技术突破将显著提升智能硬件性能 推动应用需求爆发 利好Agent技术发展 [7] - Manus AI等Agent产品引发市场关注 提升应用端对AI能力的期待 将带动算力需求增长 [13][14] - 中国科技公司在RL大规模强化学习领域取得突破 行业估值逻辑面临重塑 [14]