背景介绍 - 旋转位置编码（RoPE）及其变体在长上下文处理中广泛应用，但扩展到具有复杂时空结构的视频领域仍存在挑战[3] - VideoRoPE++通过全面分析确定了将RoPE有效应用于视频所需的五个关键特性，这些特性在先前工作中未被充分考虑[4] - 构建了全新评测基准V-RULER，其中子任务"带干扰项的大海捞针"显示当前RoPE变体在缺乏合理时间维度建模策略时容易被周期性干扰项误导[5] VideoRoPE++设计特点 - 采用三维结构保留时空关系，包括低频时间分配减轻周期性碰撞、对角布局保持空间对称性、可调整时间间隔解耦时间和空间索引[6] - 提出外推方案YaRN-V，仅在低频时间轴插值并保持空间维度稳定性，实现长视频场景下的结构一致性与外推鲁棒性[7] - 通过低频时间分配（LTA）减少振荡确保鲁棒性，对角布局（DL）保持空间对称性，可调时间间隔（ATS）控制时间间隔[15] 技术对比与优势 - 原始1D RoPE未包含空间建模，M-RoPE采用3D结构但引入不同帧间视觉标记索引差异，VideoRoPE++实现平衡并保留原始RoPE一致的索引增长模式[23] - 在视频理解任务中，空间信息具有局部性和周期性，时间信息跨越更长范围，YaRN-V通过仅沿时间维度频率插值解决这一不对称性[26] - 与M-RoPE相比，VideoRoPE++在检索中更具鲁棒性且不易受干扰项影响[9] 实验结果 长视频检索 - VideoRoPE++在V-RULER上始终优于其他RoPE变体，Vanilla RoPE和TAD-RoPE在视觉训练上下文外具备一定外推能力但超出极限后失效[28] 长视频理解 - 在LongVideoBench、MLVU和Video-MME基准上，VideoRoPE++(Qwen2基座)在64k上下文长度下分别比M-RoPE提高2.91、4.46和1.66分[30] - 性能对比表格显示VideoRoPE++在不同上下文长度和基座模型上均优于基线方法[31] 外推任务 - 在V-RULER基准的Lengthy Multimodal Stack任务上，YaRN-V以81.33分显著领先，较最强基线YaRN提升13.0分[32] - YaRN-V能更好支撑视频大模型在长输入场景下的时间对齐，避免位置溢出带来的性能衰退[33] 总结 - 确定了有效位置编码的四个关键标准：2D/3D结构、频率分配、空间对称性和时间索引缩放[34] - VideoRoPE++在长视频检索、视频理解和视频幻觉任务中优于其他RoPE变体[34]