反向传播

搜索文档
首访上海,“AI之父”缘何掀起浪潮?
国际金融报· 2025-07-28 21:06
行业技术发展 - 杰弗里·辛顿在人工神经网络领域的长期研究为深度学习技术奠定基础 其与团队提出的反向传播方法是训练人工神经网络的关键突破 被誉为机器学习的缺失数学部分 [6] - 2012年辛顿与团队开发的AlexNet模型赢得ImageNet竞赛冠军 推动深度学习从边缘技术转变为人工智能核心 引发全球科技巨头对神经网络技术的巨额投资 [7] - GPU技术的迅猛发展为人工神经网络研究注入新生命力 成为该领域发展的关键转折点 [6] 技术突破与影响 - 反向传播技术实际应用改变世界 每日有数亿用户使用基于神经网络的聊天机器人 这些系统通过大量文本数据训练的神经网络架构生成响应 [6] - 深度学习被全球科技巨头视为人工智能发展核心引擎 学术界重新重视神经网络理论 推动人工智能进入新时代 [7][8] - 大语言模型延续了辛顿1985年构建的语言与神经联结模型框架 采用更多词汇输入 多层神经元结构和复杂特征交互模式 其语言理解方式与人类高度相似 [10] 技术范式与安全 - 人工智能存在两大主流范式:逻辑型(智能基于符号规则推理)和生物学基础型(智能基于学习与联结网络) [10] - 辛顿估计人工智能接管并摧毁人类文明的概率达10%至20% 呼吁将至少三分之一计算资源投入人工智能安全研究 [11] - 批评大型科技公司将商业利益置于监管之上 警告放松管制会加速风险积聚 [11] 行业警示与趋势 - 人工智能发展速度超越专家预测 一旦超越人类智能可能无法阻止其掌控一切 [10] - 专家共识认为人类终将创造出比自己更聪明的人工智能 智能体未来会为生存和完成任务寻求更多控制权 [11] - 辛顿将研究重心转向AI安全 呼吁建立全球性AI安全协作机制 警告通用人工智能可能带来存在性威胁 [11]
重磅!AlexNet源代码已开源
半导体芯闻· 2025-03-24 18:20
AlexNet的发布与意义 - 计算机历史博物馆(CHM)与Google合作发布了AlexNet的源代码 该神经网络是2012年开启当今AI浪潮的关键技术 [1] - AlexNet由多伦多大学团队(Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton)开发 主要用于图像识别 [2][15] - 其2012年论文被引用超过172,000次 标志着计算机视觉领域从传统算法转向神经网络的转折点 [16][17] 深度学习的发展历程 - Geoffrey Hinton团队在1986年重新发现反向传播算法 成为现代深度学习的基础 [5] - 20世纪80年代神经网络以"联结主义"名称复兴 Yann LeCun证明卷积神经网络在手写识别中的优势 [5][6] - 2000年代后期GPU加速的神经网络训练取得突破 语音识别率先验证技术可行性 [13] 关键基础设施突破 - ImageNet项目(2009年完成)提供比传统数据集大几个数量级的训练样本 但前两年算法进步有限 [8][9] - NVIDIA的CUDA系统(2007年)使GPU能用于通用计算 黄仁勋推动的H100芯片现支撑ChatGPT等AI训练 [9][12] - AlexNet首次将深度神经网络、大数据集和GPU计算结合 训练在家庭电脑搭载的两块NVIDIA显卡上完成 [13][15] 技术实现细节 - Alex Krizhevsky开发"cuda-convnet"代码库 通过多GPU支持实现ImageNet训练性能突破 [15] - 原始代码经过5年协商才获谷歌授权发布 2012版源代码现可在CHM的GitHub获取 [18] - 技术路线从专用图像识别扩展至语音合成、围棋、自然语言处理等领域 最终催生ChatGPT [17]