DeepSeek-R1 爆火后，类 R1 的结果奖励训练范式在各领域掀起了推理热潮。基于规则的结果奖励实现简单、判断严格。但是，这真的够了吗？ 在推理任务中，如果我们只是用「结果对错」来奖励模型，那模型就很可能学会了「靠捷径答题」。 这种模式下，模型的「正确思考策略」没有完全建立起来，它甚至会因为一次「瞎蒙对」的奖励，而在之后反复强化错误策略，越走越偏。 为了解决这个问题，港中文联合上海人工智能实验室团队发布了多模态推理模型 SophiaVL-R1，它在类 R1 强化学习训练框架上做了一次关键进化：不再 只奖励结果是否正确，而是将「思考过程」也纳入奖励体系。 这一套设计不仅能让模型学会更通用、更靠谱的推理策略，还显著提升了泛化能力——在多个数学和通用多模态基准测试中，SophiaVL-R1-7B 甚至击败 了参数量是其 10 倍的 LLaVA-OneVision-72B 模型。 目前，研究团队已将所有模型、数据和代码开源。 思考过程也要评分，才是好模型 SophiaVL-R1 的关键突破点，就在于它引入了「思考奖励」机制 —— 不再只看答案对不对，而是开始评估模型整个推理过程是否合理、连贯、靠谱。 论文链接： ...

港中文MMLab团队 投稿 量子位 | 公众号 QbitAI "先推理、再作答"，语言大模型的Thinking模式，现在已经被拓展到了图片领域。 近日，港中文MMLab团队发布了第一个基于强化学习的推理增强文生图模型：T2I-R1。 △ 文生图进入R1时刻：港中文MMLab发布T2I-R1 大家都知道，OpenAI o1和DeepSeek-R1这类的大语言模型（LLMs），已经在解数学题和写代码这些需要"动脑筋"的事情上面展现出了较 高的水平。 这些模型通过强化学习（RL），先使用全面的思维链（CoT）逐步分析问题，推理后再提供答案。 这种方法大大提高了答案的准确性，很适合用于处理一些复杂问题。 同理，如果能把强化学习应用在图片理解的多模态大模型中（LMMs），像是图片理解或者文生图这样的任务就能解决得更加出色。 想法是好的，但在实际操作中总会碰到一些问题： 比如，该如何将语义和生成结合起来，让语义理解服务于图像生成？ 又比如，如何对图像生成的结果进行质量评估，让模型在生成中学习？ 目前 CoT推理策略如何应用于自回归的图片生成 领域仍然处于探索阶段，港中文MMLab之前的工作Image Generation ...