Neural Network
搜索文档
Nature重磅发文:深度学习x符号学习,是AGI唯一路径
36氪· 2025-12-17 10:12
行业技术发展路径 - 当前以神经网络(尤其是大模型)为主导的AI范式在实现类人智能方面被认为存在根本性局限,绝大多数研究者认为仅靠神经网络无法实现人类级智能(AGI)[1] - 行业探索的新方向是神经-符号融合(Neurosymbolic AI),即将基于规则逻辑的符号派AI与基于数据学习的神经网络相结合,这被视为打破单一神经网络话语权、通往AGI的潜在突破路径[2][5] - 神经-符号融合不仅旨在追求通用智能的长期目标,更着眼于在军事、医疗等高可靠性要求场景中,提供人类可理解、可追溯的智能形态[7] 符号AI的复兴与价值 - 符号派AI历史上曾为主流,其核心是相信世界可以用精确的规则、逻辑和概念关系来刻画[3] - 随着神经网络凭借数据驱动范式崛起,符号系统一度被边缘化,但自2021年左右起,神经-符号融合研究急速升温,符号AI价值被重新评估[5] - 符号系统的优势在于其运作机制清晰、擅长逻辑推理,并能将通用知识应用于全新情境,但其弱点在于难以处理模糊概念(如人类语言),且构建庞大规则库难度大、搜索速度慢[19] 神经网络的优势与局限 - 神经网络通过多层节点调整权重从数据中学习模式,其优势是速度快、富有创造力,但缺陷是会产生“幻觉”编造内容,且对于超出训练数据范围的问题无法可靠回答[19] - 缺乏符号知识导致神经网络会犯低级错误,例如生成有六根手指的人像,因为它没有掌握“手通常有五根手指”这一通用概念[16] - 部分研究者认为,这些错误揭示了神经网络在泛化知识和逻辑推理方面存在根本性能力不足,而不仅是缺乏数据或算力的问题[18] 技术融合的实践与挑战 - 已有代表性的神经符号AI系统问世,例如DeepMind的AlphaGeometry能稳定解出国际数学奥林匹克竞赛(IMO)级别题目[7] - 主流技术路径之一是**用符号技术加持神经网络**:例如AlphaGeometry先用符号编程生成海量数学题作为合成数据,再训练神经网络,使解题过程可验证且错误率极低[33][35] - 另一条路径是**用神经网络辅助符号算法**:利用神经网络预测方向以大幅修剪符号系统庞大的搜索空间,例如AlphaGo通过神经网络预测高胜率落子,从而在约10^170种可能性的围棋搜索树中快速锁定最佳走法[37] - 然而,将两者深度融合成通用“全能AI”仍极其棘手,系统架构复杂,被形容为设计一个“双头怪物”[7] 行业观点分歧 - 支持纯神经网络路径的观点以Richard Sutton的《苦涩的教训》为代表,认为利用海量数据和算力进行搜索与学习的系统反复战胜了依赖人类设计规则的符号方法,例如早期国际象棋程序败给数据驱动系统[9][10] - 神经网络支持者引用该观点,主张将系统做得更大是通往AGI的最佳路径[13] - 但许多研究人员认为该观点言过其实,低估了符号系统的关键作用,并指出当今最强国际象棋程序Stockfish正是结合了神经网络与符号树[13] - 神经符号融合的支持者(如Gary Marcus)认为,这可能是向AI注入逻辑推理的最佳甚至唯一方法,IBM等科技巨头也正押注该技术[18] - 反对融合的观点依然存在,例如Yann LeCun曾表示神经符号方法与深度学习机制“不兼容”[21],而Richard Sutton坚持认为“苦涩的教训”至今仍适用[22] - 也有务实派(如MIT的Leslie Kaelbling)认为争论哪种观点正确无益,应专注于任何行之有效的方法[26]
神经网络与符号系统大一统!华盛顿大学教授把AI逻辑统一成了张量表示
量子位· 2025-10-16 17:30
文章核心观点 - 华盛顿大学Pedro Domingos教授提出当前AI领域缺乏合适的编程语言,并推出名为Tensor Logic的新统一语言框架[1][2] - Tensor Logic将逻辑推理转化为纯张量代数,消除了离散逻辑与连续梯度之间的界限,实现演绎和神经计算使用同一种语言[4][5] - 该框架被认为可能成为人工智能领域的"母语",作者自信地表示这发现了通往AGI的道路[6][18] 对现有AI编程语言的批判 - Python被批评为"从未为AI设计",尽管PyTorch和TensorFlow库提供自动微分和GPU实现,但对自动化推理和知识获取"毫无帮助"[11][12] - LISP和Prolog等早期AI语言缺乏可扩展性和对学习的支持,图模型和Markov逻辑因推理成本高昂而受限[15] - 神经符号AI被批评为将深度学习和符号AI的糟粕"完美结合"[16] - 结论是AI领域显然还没有找到其合适的语言[17] Tensor Logic的技术原理 - 通过爱因斯坦求和约定实现逻辑规则与张量运算的结构等价性,传统符号逻辑推理可完全转换为张量运算[19][20][21] - 神经网络结构天然适配张量表示,包括多层感知机、RNN、CNN和Transformer等模型都可用张量方程表达[22][23] - 语言中每条语句都是张量等式,通过张量连接、投影和非线性变换完成表达、推理与学习过程[24][25][26] - 支持自动微分,无需区分"程序结构"和"模型结构",通过调节温度参数实现从精确推理到模糊类比的连续过渡[28][31] 具体实现与应用 - 多层感知机使用三维张量W表示连接权重,通过张量乘法和激活函数定义隐藏层映射[34] - 递归神经网络利用时间维度上的状态共享,使用"虚拟索引"实现状态在时间步之间的更新[35] - 卷积神经网络通过索引偏移实现卷积操作,通过索引除法实现池化操作的聚合[36] - Transformer模型用权重矩阵计算query、key、value向量,通过注意力分数加权求和实现多头注意力机制[38][39] - 符号AI、概率、核方法等不同AI范式均可纳入该统一表达体系[40][41]
Google首席科学家万字演讲回顾AI十年:哪些关键技术决定了今天的大模型格局?
机器人圈· 2025-04-30 17:10
AI技术发展趋势 - 机器学习彻底改变对计算机能力的认知和期待,过去12-14年间计算资源、数据量和模型规模的扩大持续带来性能提升[5] - 算法和模型架构改进的影响超过硬件进步,导致计算范式从传统CPU为中心发生转变[5] - 神经网络和反向传播是深度学习革命的核心要素,2012年训练出规模空前的大型神经网络实现70%性能提升[7] - 2013年开发的Word2Vec词嵌入模型展现出语义相近词语向量聚集和向量方向具有语义意义两大特性[8] - 2014年开发的序列到序列学习模型为机器翻译等任务提供端到端解决方案[8] - 2017年提出的Transformer架构相比LSTM仅需1/10到1/100计算量就能取得更优性能[9] - 2018年开始流行利用自监督数据进行大规模语言建模,产生海量训练数据[10] - 2021年开发出将图像处理整合进Transformer框架的方法,统一文本和图像处理[10] - 2017年开发的混合专家模型(MoE)实现显著算法优势,训练计算成本降低8倍或相同成本下准确率提升[10] 硬件与基础设施创新 - 为神经网络推理构建定制化硬件TPU,比同期CPU和GPU快15到30倍,能效提升30到80倍[9] - 最新Ironwood Pod包含9216个芯片,总算力达42.5 TFLOPS,相比2018年首个训练Pod计算能力提升约3600倍[9] - 开发Pathways系统简化大规模计算执行,为开发者提供单一Python进程抽象层[11] - 推测解码技术利用小型"草稿模型"预测多个Token再由大模型验证,提高解码效率[13] - 知识蒸馏技术将大模型知识迁移到小模型,使用3%训练数据即可达到接近全量数据训练的效果[12] 多模态模型发展 - Gemini项目致力于打造全球最强多模态模型,能理解语言、视觉输入、音频并生成内容[16] - Gemini 1.5引入极长上下文长度,可处理百万Token内容如50篇研究论文或很厚的书[16] - 模型在编码能力、数学、多模态等方面表现优异,在LM Arena平台的Elo评分显著提高[16] - 多模态应用包括代码修复、极低资源语言翻译、视频理解与摘要、历史数据数字化等[20][21] - 通过高级自然语言提示生成代码,如使用P5js探索Mandelbrot集的可视化程序[21] 行业影响与未来方向 - 大语言模型正成为强大通用工具,能将专家知识普及给广大民众[23] - AI安全需要技术和政策监管双管齐下,包括检测错误信息和促进建设性讨论[24] - 数据尚未成为瓶颈,仍有海量未利用数据如视频数据,且可通过改进训练方法提升数据利用效率[25] - 下一个重大挑战是模型自主完成复杂任务的能力,如分解50个子步骤调用多种工具完成相当于一个月工作量的目标[26]