余天予，清华大学计算机系一年级博士生，导师为清华大学自然语言处理实验室刘知远副教授。研究兴 趣主要包括高效多模态大模型、多模态大模型对齐和强化学习，在 CVPR、AAAI等人工智能领域的著 名国际会议和期刊发表多篇学术论文，谷歌学术引用1000余次。 Deepseek 的 R1、OpenAI 的 o1/o3 等推理模型的出色表现充分展现了 RLVR（Reinforcement Learning with Verifiable Reward，基于可验证奖励的强化学习）的巨大潜力。 然而，现有方法的应用范围局限于数学和代码等少数领域。面对自然语言固有的丰富多样性，依赖规则 验证器的方法难以拓展到通用领域上。 针对这一关键挑战，清华大学自然语言处理实验室提出了一项关键性技术 —— 基于参考概率奖励的强 化学习（Reinforcement Learning with Reference Probability Reward， RLPR ）。 这项技术通过 Prob-to-Reward 方法显著提高了概率奖励（Probability-based Reward, PR）的质 量，相比基于似然度的基线方法取得了明显更佳的性 ...