长上下文推理已经成了VLM/LLM的默认形态。 但真正的"隐形天花板"往往出现在推理端的KV缓存里。 上下文一拉长，KV缓存线性膨胀，显存占用与带宽开销一起飙升，吞吐自然被压下去。 MixKV团队 投稿 量子位 | 公众号 QbitAI 于是，KV缓存压缩成了绕不开的工程选项。然而，压缩确实省显存，却常常带来"越压越不稳"的翻车风险。来自 上海交通大学EPIC Lab 的 研究团队指出，这背后是压缩准则的根本问题： 发现1：如图1所示，视觉-语言输入下的相似度分布整体明显右移 （更偏向高相似度区间） 。这意味着在多模态输入中，KV缓存里 语义相 近/重复的内容更多 —也就是冗余更强。换句话说，多模态KV缓存的"可压缩空间"更大，但同时也更容易出现"保留了一堆看似重要、实则重 复"的情况。 很多方法几乎只优化"重要性 （importance） "，却忽略了多模态KV中天生更强的"语义冗余 （redundancy） "。当一批高度相似的KV反复 被保留下来，它们不会线性叠加信息量，反而挤占预算、压缩语义覆盖面，让模型在冗余里越选越窄，稳定性自然难以保证。 为了解决这一问题，团队提出 MixKV ：把"重要性"和" ...

大模型推理优化技术R-KV 核心观点 - 推出R-KV技术解决大模型推理冗余问题 通过实时token排序和动态压缩 实现显存降低90% 吞吐提升6.6倍 准确率保持100% [1][2][3] - 技术突破在于边生成边压缩 结合重要性评分和冗余过滤 保留关键信息同时去除重复内容 [9][15] - 在数学基准测试中表现优异 如R1-Llama-8B模型在MATH-500准确率达34% 超过完整KV缓存效果 [17][19] 技术原理 - 采用三步走策略：冗余识别+重要性评估+动态淘汰 解决链式思考导致的推理长度膨胀问题 [5] - 通过多头注意力评估token贡献度 计算key向量余弦相似度识别冗余 按优先级调度KV配额 [9] - 可视化对比显示 R-KV保留跨段落关键信息如题目数值和最终答案 SnapKV则误删关键步骤 [13][14][15] 性能表现 - 显存节省显著：固定1024预算时节省87.5% 比例10%预算时节省90% [20] - 吞吐量提升：8K序列下最大批处理479时达3809 tok/s 16K序列下最大批处理402时达3188 tok/s [20] - 计算开销可控 注意力成本降低抵消评分消耗 长序列场景优势更明显 [20][21] 应用场景 - 边端设备长链推理 使消费级GPU和手机NPU可运行大模型 [22] - 支持多轮Agent复杂流程 如反思-重写-自评 突破显存限制 [22] - 即插即用特性 可加速强化学习采样过程 无需额外训练 [22] 基准测试数据 - DeepSeek-R1-Llama-8B处理AIME数学题时 原生生成3.2万token 显存占用达4.1GB [6] - R1-Qwen-14B在AIME24测试准确率25% 较基线提升显著 [19] - 16K序列下采用10%比例预算 实现90%显存节省同时维持271最大批处理量 [20]

大模型推理优化技术R-KV - 核心观点：R-KV是一种通过实时压缩KV缓存解决大模型推理冗余问题的高效方法，显著降低显存占用并提升吞吐量，同时保持100%准确率 [1][2][3] 技术原理 - 采用三步流程：冗余识别+重要性评估+动态淘汰，通过链式思考（CoT）优化推理路径 [5] - 实时对token进行排序，保留信息丰富且多样化的token，阻断显存膨胀 [7][9] - 结合多头注意力评估贡献度（重要性打分）和余弦相似度检测重复内容（冗余打分），按优先级动态调度KV配额 [9] 性能优势 - 显存降低90%，吞吐量提升6.6倍，准确率保持100% [1] - 在DeepSeek-R1-Llama-8B模型中，解决AIME数学题时KV缓存从4.1GB大幅压缩 [6] - 相比SnapKV等现有方法，R-KV覆盖范围更广（保留题目关键词、中间值及最终答案），避免误删关键信息 [13][14][15] 基准测试结果 - 数学任务表现：R1-Llama-8B在MATH-500准确率34%，R1-Qwen-14B在AIME24准确率25%，均超越基线 [19] - 16K序列长度下，固定1024预算时显存节省93.75%，最大批处理402次，吞吐量达3188.82 tok/s [20] - 比例压缩模式下（10%预算），8K序列吞吐量达3809.15 tok/s，显存节省90% [20] 应用场景 - 边端设备长链推理：消费级GPU甚至手机NPU可运行 [22] - 多轮Agent复杂流程：如反思-重写-自评，突破显存限制 [22] - 强化学习加速：training-free方法即插即用 [22] 技术实现细节 - 可视化对比显示R-KV能跨段保留关键信息，而SnapKV聚焦局部片段导致重复 [12][13][14] - 计算开销被注意力成本降低抵消，序列越长收益越显著 [20][21] - 主要吞吐提升源于支持更大批处理规模，而非直接速度优化 [21]