语义压缩研究 - 人类具备将不同事物归类到高级概念（如"水果"）的语义压缩能力，即使面对新词汇也能通过语义线索快速分类 [1][2][3] - 图灵奖得主LeCun团队提出信息论框架，对比人类与LLM在语义压缩中的策略差异：LLM偏向统计压缩，人类更注重细节与语境 [4][5][17] 研究框架设计 - 构建包含1049个项目、34个语义类别的人类概念分类基准，整合认知科学经典研究数据，包含典型性评分以反映人类概念结构 [5][6][7] - 选取30+种LLM（参数规模3亿至720亿），包括BERT、LlamA、Gemma等，从嵌入层提取静态词元表示以确保与人类分类实验基准一致 [8] - 引入信息论框架，结合速率失真理论和信息瓶颈原理分析压缩效率与语义保真度的权衡 [9][12] 核心研究发现 - LLM概念分类与人类语义分类的对齐度显著高于随机水平，验证其基本语义组织能力 [10][11] - LLM难以处理细粒度语义差异，其内部概念结构与人类直觉不符，典型性判断与余弦相似度的相关系数较弱且大多不显著 [14][16] - 关键差异：LLM追求最小化冗余信息的统计压缩，人类则保持适应性与上下文完整性 [17] 研究团队背景 - 由斯坦福大学与纽约大学联合开展，第一作者为斯坦福博士后Chen Shani，Yann LeCun作为合著者参与 [19][20][22] - LeCun是Meta首席AI科学家、CNN架构先驱，与Hinton、Bengio共获2018图灵奖，推动深度学习工业应用与自监督学习发展 [24][25][26][27][28] 补充信息 - 论文发布于arXiv（编号2505.17117），研究引发AI社区广泛讨论 [29]