Workflow
预测编码理论
icon
搜索文档
当大脑独处时,它在思考什么?
虎嗅· 2025-10-08 09:33
两种学习方式的核心差异就是,有监督学习依赖外部的明确指引,而无监督学习则源于系统内部的自主 探索与规律发现。传统观点认为,学习需要依赖奖励信号(如食物、表扬)或明确反馈(如错误纠 正),但婴儿大脑展现出的惊人能力,正促使神经科学界重新审视这一认知。那么,生物大脑的无监督 学习能力到底从何而来? 一、无监督学习是大脑预习课 无监督学习的能力并非人类独有。例如,小鼠在探索新环境时,无需奖励就能自主形成空间记忆。为了 精准地观察这一过程,美国霍华德·休斯医学研究所(HHMI)的科学家Marius Pachitariu和Carsen Stringer领导的团队,设计了一项精巧的实验[1]。 当婴儿凝视旋转的风铃时,他或她的大脑便在悄然破解光影变化的规律。无需奖励或惩罚,这种对世界 的理解就已在神经回路中生根发芽——这正是"无监督学习"的生动体现。 反观当下最先进的人工智能,要区分"猫"和"狗"的图片,也需要在大量标注数据的"喂养"下才能实现。 这种需要引导的学习方式,则被称为"有监督学习"。 在神经科学里,有监督学习表现为外部奖惩引导的神经连接强化(如条件反射),而无监督学习是大脑 自主提取环境特征(如自发形成对线条 ...
下一句会是什么?我们是否高估了预测编码理论?
钛媒体APP· 2025-07-16 11:50
预测编码理论 - 预测编码理论认为大脑会不断预测未来事件并与实际感官输入比较,通过调整预测以减少误差 [1] - 该理论为大脑信息加工提供了简洁合理的机制解释,获得广泛认可 [1] - 最早应用于视觉加工领域,高级视觉区域预测低级区域活动,低级区域反馈预测误差 [3] - 预测编码框架可统一解释感知、注意、学习等多种认知功能 [4] 神经网络语言模型(NNLM) - NNLM能根据上文生成下一个单词的概率分布,例如预测"fisherman"比"farmer"概率更高 [6] - 优势在于可利用几乎所有自然语言文本训练,学习广泛统计规律 [6] - 采用transformer结构,通过点积注意力选择性加工输入元素,输出隐藏态作为表征 [9] - 评价指标为困惑度,数值越低表示预测准确性越高 [9] NNLM与大脑活动的关联 - 基于NNLM的编码模型能预测大脑对自然语言的反应,解释方差接近100% [10] - 研究发现模型预测能力与神经/行为数据拟合度呈强相关(r>0.8) [10][13] - 去除简单语境信息后,仍能通过大脑活动预测NNLM词语表征 [11] - 增加未来词语嵌入可提升编码模型表现 [11] 表征普遍性假说 - 研究发现模型编码表现与表征普遍性高度相关(r=0.864) [13] - 模型对跨语言任务(如翻译)的预测能力同样与编码表现强相关(r=0.780) [14] - GPT-2模型在中间层(60-80%深度)达到编码峰值,后期表现下降,与预测编码理论预期不符 [14][16] - 表明模型优异表现可能源于广泛任务适应力而非预测能力 [17] 研究争议与展望 - 现有证据均为相关性数据,无法证实预测编码的因果性 [12] - 需寻找能明确区分预测编码与普遍性假说的独特神经现象 [18] - 发现低级神经环路的预测编码机制将成为直接证据 [18]
大脑在不断预测并修正错误?
虎嗅· 2025-04-29 07:59
"相关并不意味着因果"——这句老生常谈在科学研究中常被提起,却也常被忽视。 当以ChatGPT为代表的许多大语言模型,能够实现相对准确地预测大脑对语言任务的反应时,是否可以认为大语言模型捕捉到了大脑语言认知加工的一些 深层机制?换言之,大脑也采用类似大语言模型的预测编码机制——不断预测并修正错误? 这种推论是否经得起科学的检验?GPT的预测与人脑语言反应的高度相关,究竟是"认知本质",还是只是"统计上的巧合"? 一、预测编码理论 在20世纪,我们认为大脑从感官中提取知识。21世纪则见证了一场"奇怪的反转",大脑被视为一个推理的器官,会主动地为外部世界发生的事情构建解释 [1]。在这场转变中,预测编码(Predictive coding)理论扮演了重要角色。 20世纪90年代,心理学家Karl Friston提出了预测编码理论,提供了一个关于大脑如何加工的高层次描述。该理论认为,大脑在未来事件发生之前就在不断 地尝试对其进行预测,然后将预测与观测进行比较,当预测与实际的感官输入不匹配时,大脑会对预测进行调整与更新以减少这种预测误差(prediction error)。作为一种认知理论,预测编码理论为大脑信息加工 ...