研究背景与动机 - 在长上下文场景中，Transformer架构的二次计算复杂度导致推理速度急剧下降[1] - 现有任务相关的上下文压缩方法存在效率瓶颈，要么一次性加载全文效率低，要么自回归逐步压缩速度慢，且难以兼顾“保留关键信息”与“保持自然语言可解释性”[3] 核心创新：RAM框架概述 - 受人类阅读认知启发，研究团队提出全新框架RAM，首次将“精读+略读”的混合策略引入上下文压缩[5] - RAM框架模拟人类动态分配注意力的行为：对高相关片段进行精读，保留全部语义细节；对次要背景信息进行略读，快速提取核心语义[8] - 该框架在平均1.6万token的输入上实现了12倍的端到端加速[5] 技术实现细节 - 混合表示策略：精读区完整保留高相关片段原始文本，略读区将低相关片段压缩为单个语义向量，两者按原顺序拼接形成“显式+隐式”混合上下文[9] - 并行化设计突破效率瓶颈：所有片段与查询并行编码，规避了全文一次性加载的二次复杂度和自回归压缩的串行等待，实现“压缩即推理”的高效流水线[9] - 自适应决策机制：通过引入对比学习优化决策边界，训练模型精准判断“何时精读、何时略读”[10] - 略读过程：采用查询引导加权平均，对每个token计算与查询的相似度，以聚焦提取与任务相关的语义精华[12] 性能表现 - 多任务基准测试卓越：在NaturalQuestions、HotpotQA等四大问答基准与MultiNews摘要任务上，以LLaMA-3.1-8B和Qwen3-4B为基座，在4x/8x压缩下均展现出优越性能[11] - 具体数据示例（Qwen3-4B）：在4x压缩时，EM分数达到66.59，而输入原文时仅为32.77，证明压缩通过去噪提升了推理质量[11] - 长度外推能力强大：尽管训练时最大长度仅2万token，RAM在3.2万token的NarrativeQA测试中性能反超未压缩原文[10] - 压缩鲁棒性：当压缩率从2x提升至32x，RAM的EM分数仍稳定高于基线，表现稳如磐石[16] 效率与延迟 - 显著加速：在平均1.6万token、最长3.2万token的NarrativeQA数据集上，RAM端到端延迟仅0.20秒（32x压缩），相比于输入原始提示词的端到端时延1.23秒，提速约6倍[14] - 压缩成本极低：压缩阶段耗时仅0.08秒，真正实现“压缩成本可忽略”[14] - 延迟对比数据：在32x压缩约束下，RAM的端到端延迟为0.20秒，显著优于EXIT的302.62秒、Provence的2.75秒和LongLLMLingua的5.14秒[15] 行业意义与总结 - RAM为长上下文大语言模型部署提供了新范式，将压缩从“不得已的妥协”转变为通过模拟人类认知策略实现效率与性能的协同增益[18] - 方法论创新：首次将“精读+略读”混合策略算法化，打破效率-保真度权衡[19] - 工程突破：并行化设计使压缩成本趋近于零，真正满足工业级实时需求[19] - 认知启示：证明借鉴人类信息处理机制可为AI系统设计提供强大灵感[19]