研究背景与方法 - 谷歌引入统一计算框架，通过比较真实对话中的人脑活动与语音到文本LLM的内部嵌入，研究语言处理的神经基础[4] - 使用皮层电图记录参与者开放式真实对话中语音生成和理解过程的神经信号，累计100小时，同时从Whisper模型中提取声学、语音和单词级嵌入[4] - 开发编码模型将嵌入词线性映射到大脑活动，该模型能准确预测新对话中语言处理各层次的神经活动[4] 核心发现：语言处理机制对应关系 - 大脑语言理解顺序与LLM处理机制呈线性相关：首先处理语音（颞上回STG区域），几百毫秒后解码词义（布罗卡区IFG）[8][9] - 语言生成顺序与理解相反：发音前约500毫秒布罗卡区计划词义，发音前运动皮层MC计划发音，发音后STG监测语音[10][11][12] - 全脑分析显示，语音嵌入和语言嵌入可预测单词出现前后2秒内的神经反应，且生成与理解过程的编码峰值时间相反[13][14] 大模型与大脑处理机制的异同 - Whisper模型的内部表征与自然对话中的神经活动一致，尽管其设计未考虑大脑处理机制[15] - 大模型并行处理单词，人脑串行逐字处理，但两者反映类似统计规律[16] - 跨层非线性变换在LLMs和人脑语言区相似，但实现方式不同：Transformer同时处理数百单词，人脑按顺序循环处理[25] 研究意义与学术基础 - 语音到文本模型嵌入为理解自然对话的神经基础提供了连贯框架[15] - 此前研究证明自回归语言模型与人脑共享预测、惊讶和基于嵌入的上下文表征等计算原理[21] - 大模型嵌入空间几何图形捕捉的单词关系与人脑语言区表征一致[22]