近年来，AI的发展遵循着一个简单直接的规则——模型越大、能力越强。这个被称为"规模法则"的路 径，催生了今天我们看到的各种强大的AI大模型。但同时，随着模型参数量的增大，模型训练的成 本、使用的成本也随之飙升，一定程度上制约了大模型的产业应用进程。 清华大学的一项最新研究成果——大模型"密度法则"20日在国际期刊《自然·机器智能》上作为封面文 章发表，为AI发展指出了一个新方向：AI大模型变强，不应只靠"体型"，更要靠"密度"。 "过去，我们往往关心一个AI模型的'块头'有多大，即参数量有多大，其实我们更应该关心模型的'能力 密度'，即每个单位的参数能展现出的智能水平。"论文第一作者、清华大学计算机科学与技术系助理研 究员肖朝军说，"这就好比评价一个武林高手，不是看他块头有多大，而是看他一招一式里蕴含了多少 功力。" 研究人员表示，实现这样的"能力密度"，不能靠"模型压缩"。研究发现，强行压缩一个大模型，就像是 把一本厚厚的字典强行塞进小本子里，很多内容会丢失，导致"智力"下降，因此需要采用更先进的"数 据+算力+算法"体系，才能培养出"高密度"的精干小模型。 通过研究过去几年发布的51个开源大模型，研究人员 ...