公司专利技术 - 联想（北京）有限公司申请了一项名为"数据处理方法、模型压缩方法及装置"的专利，公开号CN120068971A，申请日期为2025年02月 [1] - 专利涉及数据处理方法，适用于图像、文本、语音和视频数据中的至少一种 [1] - 专利技术可根据任务类型（第一类型或第二类型）选择不同的参数集合处理数据，其中基础参数部分相同，私有参数部分包含相同部分参数 [1] 公司背景信息 - 联想（北京）有限公司成立于1992年，位于北京市，主要从事计算机、通信和其他电子设备制造业 [2] - 公司注册资本为565000万港元 [2] - 公司对外投资了102家企业，参与招投标项目5000次 [2] - 公司拥有商标信息1730条，专利信息5000条，行政许可237个 [2]

模型压缩技术突破 - 提出新型数据集蒸馏方法NFCM，在CVPR 2025获满分评价，显存占用仅为前SOTA的1/300且速度提升20倍，仅需2080Ti显卡即可实现CIFAR数据集无损蒸馏 [2][6] - 通过引入NCFD分布差异度量，将数据集蒸馏转化为minmax优化问题，在连续学习和神经架构搜索任务中展现优异性能 [6] - 数据压缩与参数压缩结合成为新趋势，通过高质量数据合成降低训练成本，内部验证节省成本/挑选成本＞1的可行性 [7][8][9] 多模态模型加速实践 - 在扩散语言模型中实现最高9倍加速且无性能损失，多模态大模型可删除80%-90% token仍保持高精度 [10][11] - 提出Token-wise Caching（Toca）方法，首次在图像/视频生成中实现无需训练即2倍加速，解决Diffusion Transformer计算瓶颈 [13][14] - TaylorSeer技术将特征缓存从复用转向预测，在DiT等模型实现5倍加速，八卡GPU推理使视频生成速度逼近实时播放 [20][22][24][25] 知识蒸馏演进路径 - 自蒸馏框架通过模型深层蒸馏浅层，ICCV2019论文被引1100+，推动无教师蒸馏发展 [32][33][34] - 知识蒸馏三阶段演进：从强模型教弱模型→自蒸馏→弱模型教强模型，第三阶段具AI进化潜力 [35][36] - 大模型时代强化压缩需求，需平衡结构效率与知识保留，数据视角压缩可避免重训练的高成本 [38][44][46] 行业技术趋势 - 模型压缩从传统剪枝/量化转向数据视角创新，DeepSeek等推动高效低成本范式受关注 [4][26] - 视频生成领域成为技术验证重点，目标实现生成速度超过播放速度的实时效果 [25][27] - 跨专业协作现象显著，非计算机背景人员可参与研究，仅需动机和基础编程能力 [55]