在线策略蒸馏中的特权幻觉问题 - 在模型蒸馏中，向教师模型注入额外信息（如推理提示、视觉标注等“特权信息”）是一种常见做法，但研究发现这可能导致“特权幻觉”[8] - “特权幻觉”指教师模型因信息不对称而表现出的优势，学生模型模仿的可能是教师利用特权信息的“捷径”，而非真正可迁移的能力[9] - 这种幻觉会导致模型过早收敛（熵崩塌）、训练后期性能退化以及泛化能力变差[10] DOPD方法的核心创新 - 研究团队提出了一种全新的在线策略蒸馏方法DOPD（Dual On-policy Distillation），其核心思想是根据每个token的“特权优势差距”和“师生预测置信度”动态决定蒸馏方式[14] - DOPD将所有token分为四类，并针对每类采用不同的蒸馏策略：1) 高优势差且教师高置信度的“关键知识token”采用最强监督；2) 低优势差且双方高置信度的“共识token”保守吸收；3) 低优势差且双方低置信度的“不确定token”防止模型漂移；4) 高优势差且学生高置信度的“探索性token”保护学生探索行为[17][19] - 该方法旨在破解“特权幻觉”陷阱，将特权信息真正转化为学生的能力，而非依赖信息的假能力[13] DOPD的核心实验结果 - 在大语言模型（LLM）设置下，DOPD在8个基准测试上平均得分为51.4，比Vanilla OPD高出7.5分，闭合了89.8%的初始师生差距[4][21] - 在视觉语言模型（VLM）设置下，DOPD平均提升6.0分，恢复了69.2%的师生差距[4][22] - 在师生模型尺寸差距最大的情况下（8B→0.6B），DOPD的提升幅度是Vanilla OPD的4倍[4] - 当师生模型尺寸差距较小时（4B→1.7B），DOPD提升6.2分；当差距很大时（8B→0.6B），DOPD提升14.1分[24] - 在持续学习和分布外泛化任务评估中，DOPD也表现出更稳定的能力积累和更优的泛化能力[26] 训练稳定性与设计合理性分析 - DOPD在训练过程中表现稳定，性能曲线平稳上升，收敛速度快，在第80步就达到了其他方法第200步的水平，且熵变化健康[31] - 对特权信息形式的分析表明，直接提供最终答案效果最差，最优的特权信息是提供“能力导向”的引导而非直接答案，这验证了“特权幻觉”的存在并说明了DOPD设计的合理性[33] - 可视化及消融实验证明，DOPD的token分类具有实际语义意义，且其每个组件（如优势感知蒸馏、自适应散度目标等）都对最终效果有明确贡献[35][36][38]