文章核心观点 - 由Jürgen Schmidhuber团队提出的新型位置嵌入方法PoPE，通过解耦内容（what）与位置（where）信息，解决了当前主流方法RoPE中两者纠缠的问题，从而在多项任务中实现了更优的模型性能[1][9] RoPE的问题分析 - RoPE是Llama 3、DeepSeek-v3、Gemma 3和Qwen3等前沿模型的首选位置编码方法，它通过旋转键和查询的二维分量来编码相对位置信息[5] - 在极坐标表示下，RoPE的注意力分数公式显示，键和查询都混淆了特征存在与否的信息（what）和相对位置信息（where），这种纠缠被假设会损害模型性能[8][9] PoPE解决方案 - PoPE将键和查询转换为d元素复向量，其幅值通过softplus函数确保非负，相位则仅取决于位置，从而实现了内容与位置的解耦[12][13] - PoPE的注意力分数计算消除了RoPE中导致键和查询影响相位的交互项，并可引入一个可学习的偏置项来调整最佳相对偏移[13] - 该方案通过定制的Triton内核实现，相比标准Flash Attention仅需额外一次乘法，虽然当前通用变体内存开销较大，但可通过优化降低[14] 模型性能表现 - **间接索引任务**：RoPE平均准确率仅为11.16%，而PoPE达到94.82%，显示出PoPE在分离内容和位置信息上的显著优势[18][19] - **音乐与基因组序列建模**：在JSB和MAESTRO音乐数据集上，PoPE的负对数似然（NLL）均低于RoPE；在人类参考基因组数据集上，PoPE的NLL（4.152）也显著低于RoPE基线（4.217）[20][22][23] - **语言建模**：在OpenWebText数据集上，124M、253M和774M三种模型规模的测试中，PoPE的困惑度均始终低于RoPE[25][26] - **下游零样本任务**：在LAMBADA、Blimp、CBT、HellaSwag、PIQA和ARC-E六项任务中，PoPE在所有模型规模下的平均准确率均高于RoPE[27][28] - **长度外推能力**：在1024个token上训练，于长达10240个token的序列上评估时，RoPE性能显著下降，而PoPE显示出强大的开箱即用外推能力，优于专门的基线模型YaRN，且其外推性能随模型规模增加保持稳定，而RoPE则恶化[29][31][32]