近年来，大型语言模型（LLMs）在复杂推理任务中展现出惊人的能力，这在很大程度上得益于过程级奖励模型（PRMs）的赋能。PRMs 作为 LLMs 进行多步推理 和决策的关键「幕后功臣」，负责评估推理过程的每一步，以引导模型的学习方向。 然而，它们真的足够可靠吗？一项最新研究—— 已荣幸被 ACL 2025 Main 接收 ——揭示了现有 PRMs 在识别推理过程中细微错误方面的显著不足，其 表现甚至可能不如随机猜测，敲响了「信任危机」的警钟！ PRM 真的过时了吗？基于规则奖励的强化学习不断暴露假阳性及推理过程幻觉严重等问题，因此我们需要针对过程的有效监督，而如何评测过程监督的质 量就是一个值得探索的问题，目前主流的评估方法往往过度关注最终结果的正确性，而忽视了对推理过程中细致入微的错误类型的识别。 例如，一个推理步骤可能存在冗余、部分正确、甚至完全错误等多种状态，简单的「正确/错误」标签远不足以捕捉其内在的复杂性与细微差别。这种评估 粒度的缺失，使得我们难以真正理解 PRMs 的局限性，也阻碍了其能力的进一步提升。 为填补这一空白，复旦大学、苏州大学、上海人工智能实验室、石溪大学、香港中文大学等机构联合提出 ...