文章核心观点 - Yann LeCun团队的最新研究发现，自监督模型JEPAs具备感知数据常见程度（即数据密度）的隐藏能力，打破了学界认为其仅擅长特征提取的固有认知 [1][2][7] - 该能力源于模型训练中的“反坍缩”机制，是训练过程的必然结果，无需额外操作即可用于判断样本的常见程度 [6][11] - 团队提出了量化工具JEPA-SCORE，可广泛应用于不同数据集和模型架构，进行数据密度评估 [14][16][17] JEPAs模型与数据密度发现 - JEPAs是LeCun团队重点推进的自监督学习框架，核心优势在于无需人工标注即可从海量数据中学习特征规律 [10] - 传统观点认为JEPAs训练仅有两个核心目标：潜在空间预测和防止特征坍缩（反坍缩） [10][12] - 新研究通过变量替换公式与高维统计特性推导证明，反坍缩机制能让JEPAs精准学习数据密度，当模型输出高斯嵌入时，必须通过雅可比矩阵感知数据密度以满足训练约束 [11] JEPA-SCORE工具与应用 - JEPA-SCORE是从JEPAs中提取数据密度的量化指标，通过计算模型处理目标样本时雅可比矩阵的特征值对数求和得出，分数越高表示样本越典型常见 [14][15] - 该工具具备极强的通用性，不限制数据集和JEPAs架构，无论是ImageNet、MNIST还是未参与预训练的星云图集，以及I-JEPA、DINOv2、MetaCLIP等模型均可直接使用 [16][17] - 实验验证表明，不同JEPAs模型对典型样本和罕见样本的JEPA-SCORE判定高度重合，且能精准识别陌生数据，证明这是模型的共性能力 [18] 研究团队 - 此次研究由Yann LeCun与三位Meta FAIR的研究员共同完成 [26][27] - 团队成员包括布朗大学计算机科学助理教授Randall Balestriero、拥有法国格勒诺布尔大学博士学位的Nicolas Ballas以及FAIR创始成员Michael Rabbat [28][32][34]