模型压缩技术突破 - 提出新型数据集蒸馏方法NFCM，在CVPR 2025获满分评价，显存占用仅为前SOTA的1/300且速度提升20倍，仅需2080Ti显卡即可实现CIFAR数据集无损蒸馏 [2][6] - 通过引入NCFD分布差异度量，将数据集蒸馏转化为minmax优化问题，在连续学习和神经架构搜索任务中展现优异性能 [6] - 数据压缩与参数压缩结合成为新趋势，通过高质量数据合成降低训练成本，内部验证节省成本/挑选成本＞1的可行性 [7][8][9] 多模态模型加速实践 - 在扩散语言模型中实现最高9倍加速且无性能损失，多模态大模型可删除80%-90% token仍保持高精度 [10][11] - 提出Token-wise Caching（Toca）方法，首次在图像/视频生成中实现无需训练即2倍加速，解决Diffusion Transformer计算瓶颈 [13][14] - TaylorSeer技术将特征缓存从复用转向预测，在DiT等模型实现5倍加速，八卡GPU推理使视频生成速度逼近实时播放 [20][22][24][25] 知识蒸馏演进路径 - 自蒸馏框架通过模型深层蒸馏浅层，ICCV2019论文被引1100+，推动无教师蒸馏发展 [32][33][34] - 知识蒸馏三阶段演进：从强模型教弱模型→自蒸馏→弱模型教强模型，第三阶段具AI进化潜力 [35][36] - 大模型时代强化压缩需求，需平衡结构效率与知识保留，数据视角压缩可避免重训练的高成本 [38][44][46] 行业技术趋势 - 模型压缩从传统剪枝/量化转向数据视角创新，DeepSeek等推动高效低成本范式受关注 [4][26] - 视频生成领域成为技术验证重点，目标实现生成速度超过播放速度的实时效果 [25][27] - 跨专业协作现象显著，非计算机背景人员可参与研究，仅需动机和基础编程能力 [55]