本文主要完成单位为上海人工智能实验室，主要作者谢文轩、谭鑫、陆超超、胡侠等，通讯作者为实验室青年研究员汪旭鸿。 当长上下文成为负担：我们是否真的需要「把一切都塞进推理模型」？ 当前，随着大家对大模型推理能力要求的提升，输入上下文也在不断变长，1M tokens 及以上的上下文窗口正逐渐成为现实，但「读得更长」一定会带来推理提升 吗？ 在现实应用中，情况往往并不理想。当推理模型直接处理超长原始文本时，瓶颈往往不再来自「不会推理」，而是来自读不完、读不动、读不准： 这也引出了一个更本质的问题： 知识获取（reading）与逻辑推理（reasoning），是否真的必须由同一个模型完成？ 复杂推理或许需要大模型，但从海量信息中获取知识未必如此。 为解决这一问题，来自 上海人工智能实验室与复旦大学的研究团队 提出了 DRIFT：一种将 知识获取 与 推理 明确解耦的长上下文推理框架。 DRIFT 采用双模型架构：轻量知识模型负责读取超长文档，并将与当前任务强相关的关键信息压缩成高密度隐空间表示；推理模型直接利用这些表示进行推理， 无需处理庞杂原文。 实验结果表明：DRIFT 显著提升推理效率，并在高压缩比设置下仍保持甚 ...