研究核心发现 - 大型语言模型在学习过程中会自发演化出一种类似于生物大脑的“协同核心”结构 [1] - 该协同核心结构是模型获得能力的标志性产物，而非其初始架构所固有 [19] - 这种组织模式与人脑的生理结构形成了精确的映射，表明智能演化存在趋同性 [18][27] 实验方法与模型 - 研究团队利用部分信息分解框架，对Gemma、Llama、Qwen和DeepSeek等具有代表性的模型系列进行了深度剖析 [5][7] - 实验向模型输入了涵盖语法纠错、逻辑推理、常识问答等6个类别的认知任务提示词，并记录每一层的激活值 [8][9] - 通过计算输出向量的L2范数作为激活强度，并应用整合信息分解框架，将注意力头对间的交互分解为“持续性协同”和“持续性冗余” [10][11][12] - 通过计算协同值与冗余值的排名差，得到了关键指标“协同-冗余秩”，用以量化模型组件处理信息的倾向 [12] 模型内部架构规律 - 模型内部信息处理存在明确的空间分布规律：中层表现出极强的协同处理能力，而底层和顶层则更偏向于冗余处理 [6][13] - 协同分布呈现出显著的“倒U型”曲线：模型的早期层和末期层构成“冗余外周”，信息处理以冗余模式为主；模型的中层则构成“协同核心”，进行高级语义集成和抽象推理 [13][15] - 这种“协同核心”的涌现具有跨架构的一致性，在基于注意力头的模型和基于专家模块的模型（如DeepSeek V2 Lite）中均被观察到，表明其可能是实现高级智能的一种计算必然 [16][17] 协同核心的功能与影响 - 消融实验表明，消融高协同性节点会导致模型出现灾难性的性能下降和行为背离，远超消融冗余节点的影响，证明协同核心是模型智能的核心驱动力 [22] - 微调实验发现，在强化学习微调场景下，仅针对协同核心进行训练获得的性能提升显著优于针对冗余核心或随机子集的训练；而在监督微调中这种差异不明显 [23] - 识别协同核心有助于设计更高效的模型压缩算法，或通过更有针对性的参数更新来加速训练 [27]