Workflow
动态记忆稀疏化(DMS)内存压缩技术
icon
搜索文档
总编辑圈点 | 更小内存带来更强AI,压缩内存可提升大模型处理任务准确性
环球网资讯· 2026-01-01 12:29
技术突破 - 英国爱丁堡大学与英伟达的联合团队开发出一种名为“动态记忆稀疏化”(DMS)的内存压缩技术,能够压缩AI模型运行时所依赖的内存 [1][4] - 该方法可将大语言模型(LLM)所使用的内存压缩至原有大小的1/8,在保持推理时间不变的情况下,提升模型处理复杂任务的准确性 [4] - DMS技术通过动态判断并剔除AI推理过程中生成的、对后续推理不重要的标记,并将有用信息转移至保留的标记中,从而实现内存压缩 [4] 性能表现 - 在基于美国数学奥林匹克资格赛(AIME 24)设计的数学测试中,压缩模型在相同内存读取次数下,平均得分比未压缩模型高出12分 [5] - 在由博士级专家编制的专业科学题库中,压缩模型的表现优于原模型 [5] - 在评估代码编写能力的平台上,压缩模型的平均得分提高了10分 [5] 潜在影响 - 该技术有望打破大语言模型(LLM)的性能瓶颈,实现“更少内存,更强智能” [1][6] - 内存压缩有助于模型同时响应更多用户请求,从而降低单个任务的平均功耗 [4] - 改进后的AI模型更适用于处理复杂问题的系统,或存储速度较慢、内存容量有限的终端设备,例如智能家居产品和可穿戴技术 [4] - 这项研究可能从根本上改变AI的研发方向,让高性能AI真正轻量化,未来复杂的科学计算或许能在智能手表上运行 [6]