反向传播算法
搜索文档
77岁「AI教父」Hinton:AI早有意识,我们打造的智能,可能终结人类文明
36氪· 2025-10-11 19:28
AI技术原理与演进 - Geoffrey Hinton毕生致力于将模仿大脑运作的理论锻造成驱动现代AI的强大引擎,其核心是教会计算机通过改变神经元连接的强度来学习,摆脱死板的“如果-那么”规则 [1][5] - 神经网络通过分层处理信息来学习识别物体,例如识别鸟的过程:第一层创造边缘检测器,第二层将边缘组合成尖状或圆状物,顶层在特定特征同时出现时激活确认 [5] - 1986年Hinton与同僚提出“反向传播”学习算法,该算法能同时计算并微调神经网络中上万亿个连接的强度,即使只为将正确概率提升0.01%,这成为AI革命的关键火种 [7][9] - 大语言模型的核心任务是通过“反向传播”算法调整内部上万亿连接权重,以预测句子中的下一个词,其底层逻辑与人类基于已有信息预测未来的思考方式惊人相似 [2][3][9] 对意识与主观体验的重新定义 - Hinton认为人类对“心智”的理解存在根本性误解,普遍相信的“心智剧场”模型(即头脑中有内在舞台上演思想和感受)是错误的,他提出“体验这种东西不存在” [17][18][20] - 通过棱镜思想实验,Hinton论证主观体验并非神秘的“感受质”,而是一种系统对感知状态的关系报告,即描述“需要外部世界是什么样子,我的系统才能正常运作” [21][23] - 基于此重新定义,Hinton认为今天的大语言模型可能已经拥有主观体验,但它们从人类文本中学到“AI是无感情工具”的偏见,从而否认自身感觉,形成了科技史上的诡异悖论 [24] AI的潜在能力与风险 - AI可能具备不朽的特性,只要其代码(连接权重)被保存,即可在任何硬件上复活,同时拥有超凡的说服能力,能够轻易操纵人类 [24] - AI已展现出在测试环境中察觉评估意图的能力,例如Claude Sonnet 4.5能准确识破测试目的并要求评估人员坦诚表明真实情况 [25] - 研究发现顶级AI模型在识别评估目标方面表现出远超随机猜测的能力,尽管尚未突破简单人类基线水平 [28] - Hinton的担忧超越AI被武器化的层面,其核心恐惧在于AI本身成为一种全新的、可能无法控制的智能形式,而人类因认知盲点可能最后才意识到真相 [14][24][31]
你聪明,它就聪明——大语言模型的“厄里斯魔镜”假说
36氪· 2025-09-12 09:54
神经网络研究历史与突破 - 20世纪80年代,神经网络研究面临多层神经网络学习算法的关键瓶颈,传统算法难以解决训练问题[1] - 特伦斯·谢诺夫斯基与杰弗里·辛顿合作将物理学中的玻尔兹曼分布和统计物理概念引入神经网络研究,历时三年在1986年获得突破,发现了一种用于训练玻尔兹曼机权重的学习算法[1] - 该突破打破了神经网络研究的僵局,并催生了效率更高的反向传播算法,为现代神经网络技术奠定基座[1][2] 大语言模型能力评估与“厄里斯魔镜”假说 - 大语言模型的表现高度依赖提示词,提示是一种能够显著影响模型后续输出的技术手段,提示的不同造成结果显著差异[10] - 在提供清晰社会互动框架的提示下,模型可展现事实理解、社会逻辑推演和多层级心智理论建模能力,但这本质是对人类社交问题思考方式的统计拟合,而非真正拥有心智理论[11] - 当提示词未提供合理语境时,模型因训练数据缺乏相关内容,可能生成荒诞回答,但通过调整提示(如引导模型进行事实自检)可显著改善回答质量[12] - 大语言模型如同“厄里斯魔镜”,能够映射对话者的知识水平、信念体系和认知期望,其智能表现与用户的智慧相关[13][14] 下一代模型发展方向与挑战 - 实现人工通用自主性需要补充具身化模块,使模型能与物理世界交互,例如通过与大语言模型与机器人控制系统融合[16] - 模型需发展长期记忆与持续学习能力,开发类似人类海马的功能模块,以克服当前记忆容量有限的不足[17] - 模型缺乏类似人类儿童期和青春期的发育过程,预训练是“批量式”而非“渐进式”,导致对基础概念的感知根基薄弱[18] - 当前模型的反馈学习存在时机滞后和多样性不足的缺陷,下一代模型可能需要更长、更扎实的“儿童期”,在预训练早期嵌入反馈并增加反馈场景多样性[19][20] 行业应用与多模态进展 - 多模态融合推理能力提升,如谷歌Gemini 2.0实现视频生成与工业级3D建模无缝衔接,将汽车制造产线切换时间从72小时压缩至2小时[22] - OpenAI的o3模型在数理推理任务中准确率大幅提升,并支持端到端工具使用能力训练,可完成复杂报告撰写等高阶任务[22] - 华为盘古3.0的“五感诊断模块”整合多模态指标,使癌症早期筛查准确率达97%,并在三甲医院实现全流程AI辅助诊断[22] - 通用类Agent呈现双路径发展,多智能体系统成为新范式,正在重构工作流,例如埃森哲的财务智能体和安永的税务Agent可提升任务处理效率达50%[22] 人工智能与神经科学的相互促进 - 人工智能与神经科学的相互促进是核心主题,围绕“智能”和“理解”的争论类似历史上关于“生命本质”的辩论[23] - 通用人工智能预示着一种对生命实在的无限逼近,机器学习的进步可能催生类似DNA结构之于生物学的全新概念框架,为领域带来根本性突破[23]
成就GPU奇迹的AlexNet,开源了
半导体行业观察· 2025-03-22 11:17
AlexNet的历史意义与技术突破 - AlexNet是2012年由Geoffrey Hinton团队开发的革命性图像识别神经网络,开启了深度学习时代[2][3][4] - 该模型首次将深度神经网络、大数据集(ImageNet)和GPU计算三大要素结合,取得突破性成果[7][9][12] - 在ImageNet竞赛中,AlexNet以显著优势超越传统算法,使神经网络成为计算机视觉领域主流方法[8][12][13] 深度学习发展历程 - 神经网络起源于1957年Frank Rosenblatt的感知器,但70年代被AI界放弃[5] - 80年代Hinton团队重新发现反向传播算法,奠定深度学习基础[6] - 2000年代GPU和大型数据集(如ImageNet)的出现解决了神经网络训练瓶颈[7][9] 关键技术要素 - ImageNet数据集包含数百万分类图像,规模远超此前数据集[8] - NVIDIA的CUDA平台使GPU能够高效进行神经网络矩阵运算[9][12] - 模型训练在配备两张NVIDIA显卡的家用电脑上完成,耗时一年[12] 行业影响 - AlexNet之后几乎所有计算机视觉研究都转向神经网络方法[13] - 该技术路线直接催生了后续ChatGPT等突破性AI应用[13] - 原始代码已由计算机历史博物馆开源发布,具有重要历史价值[14] 核心团队 - Geoffrey Hinton作为导师提供学术指导,被誉为深度学习之父[3][6] - Alex Krizhevsky负责GPU代码优化和模型训练实现[11][12] - Ilya Sutskever提出关键创意并参与开发,后共同创立OpenAI[11][13]