Workflow
推理时扰动高熵词,增强LLM性能
机器之心·2025-10-29 09:07

本文第一作者杨震,香港科技大学(广州)博士生,研究方向是多模态理解与生成等。本文通讯作者陈颖聪,香港科技大学(广州)助理教授,主要研究课题包 括生成模型、具身智能等。 随着对大语言模型的研究越来越深入,关于测试时间扩展 (test-time scaling) 的相关研究正迅速崭露头角。研究团队重新审视测试时行为,发现了一个简单但尚未得 到充分探索的现象:LLM 推理时的不确定性高度局部化 —— 一小部分高熵词会显著影响输出的正确性。 正是基于这一关键观察,来自香港科技大学(广州)的研究团队提出了 Minimal Test-Time Intervention (MTI),其主要包含了 Selective CFG intervention 与 Lightweight negative-prompt guidance 两种方法。MTI 能够在推理阶段无需额外训练,就提升大型语言模型的推理能力。 论文标题:Less is More: Improving LLM Reasoning with Minimal Test-Time Intervention Lightweight negative-prompt guida ...