可解释性
搜索文档
田渊栋的2025年终总结:关于被裁和26年的研究方向
自动驾驶之心· 2026-01-06 08:28
文章核心观点 - 文章是一位资深AI研究员对个人职业变动与年度研究方向的回顾与总结 其核心观点在于强调大模型推理效率提升与模型可解释性研究是当前及未来人工智能领域两个至关重要且充满前景的方向 同时分享了个人从大公司离职加入初创企业的职业选择 [3][5][6][10] 个人职业变动与感悟 - 作者于2025年1月底被要求加入Llama4项目进行“救火” 尽管项目最终结果超出其最初设想的四种可能 但在此过程中团队在强化学习训练的核心问题上进行了多项有价值的探索 [3] - 作者在Meta工作十年多后最终离职 尽管此前因经济和家庭原因多次犹豫 但最终将此次变动视为一个积极的转折点 并决定加入一家初创公司担任联合创始人 [4][5] - 作者回顾了2021年的一项工作 该工作起初未受关注但后来在ICML会议上获得了最佳论文荣誉提名 并成为表征学习领域一篇较知名的文章 [5] 大模型推理研究方向 - **连续隐空间推理**:作者团队在2024年末公开的连续隐空间推理工作(COLM‘25)在2025年引发研究热潮 随后团队在2025年上半年发表了一篇理论分析文章(NeurIPS‘25) 阐述了该方法的优势所在 [6] - **推理效率提升**:团队通过多项研究致力于提高大模型推理效率 - **Token Assorted(ICLR‘25)**:通过VQVAE学习隐空间的离散token 并将其与文本token混合进行后训练 在降低推理代价的同时提升了性能 [7] - **DeepConf**:通过检测生成token的置信度来决定是否提前终止推理路径 从而显著减少推理所用token数量 在多数投票场景下性能更优 [7] - **ThreadWeaver**:通过制造并行推理的思维链并进行后训练来加快推理速度 [7] - **其他尝试**:包括在dLLM上用强化学习训练推理模型 以及在小模型上学习推理 [7] 模型可解释性研究方向 - **关注动机**:作者认为无论人工智能通过规模扩展最终成功或失败 可解释性研究都至关重要 是确保AI向善或寻找替代方案的关键 且人类探索的天性也驱使其研究“黑盒” [10] - **Grokking(顿悟)现象**:作者团队通过分析Grokking这一从记忆到泛化的特征涌现现象 来探索模型学习的表征与数据结构的关联 2024年的初步工作(NeurIPS‘25)后 近期在可证明的缩放定律研究上取得较大突破 [8] - **RL与SFT行为差异**:作者团队年末的工作从权重层面解释了强化学习与监督微调行为不一致的原因 指出SFT因使用非当前策略数据导致权重主分量被大幅修改 引发灾难性遗忘 而RL使用当前策略数据 主要改变权重次要分量 避免了该问题 [9] - **研究现状与愿景**:作者指出当前通过寻找“电路”来打开模型黑箱仍处于初步阶段 真正的挑战在于从第一性原理解释模型为何会涌现出解耦、稀疏、模块化等特征 其愿景是实现从“收集证据”到“推导原理”的范式转变 最终指导下一代模型设计 [11]
田渊栋2025年终总结:救火Llama4但被裁,现任神秘初创公司联创
机器之心· 2026-01-04 16:05
文章核心观点 - 文章记录了Meta前AI科学家田渊栋被裁后的职业转变、2025年的核心研究方向以及对AI驱动下社会生产力与个人价值重构的深刻思考[1][2][3] - 核心观点认为,AI能力的飞速发展正在重塑社会结构,个人价值评估标准从自身劳动产出转变为“人加AI”能否超越AI本身,这导致职业价值出现类似“费米能级”的两极分化[20][23][27] - 在“遍地神灯”(强大AI智能体)的时代,真正稀缺的是人类的原创愿望、独立思考能力以及将宏大目标转化为现实的能力,这决定了个人能否保持在“费米能级”之上[28][29][33] 关于被裁与职业转变 - 田渊栋在2025年1月底被要求加入“救火”Llama 4项目,尽管团队在强化学习训练的核心问题上进行了多项探索,但项目结束后他仍被Meta裁员[4] - 被裁后收到了大量工作邀约,最终选择成为一家初创公司的联合创始人,并于2024年12月上任[6] 2025年主要研究方向 - **大模型推理**:其团队2024年末公开的连续隐空间推理(coconut)工作在2025年引发研究热潮,团队后续发表了理论分析文章《Reasoning by Superposition》(NeurIPS'25)[7] - **提高推理效率**:通过Token Assorted(ICLR'25)工作混合离散token与文本token以减少推理代价并提升性能;通过DeepConf提前终止低置信度推理路径以减少token使用;通过ThreadWeaver制造并行推理思维链以加速[8] - **打开模型黑箱(可解释性)**:重点研究Grokking(顿悟)现象,旨在理解模型从记忆到泛化的突变过程,近期在《Provable Scaling Laws》文章中取得突破[9] - **理解RL与SFT差异**:研究指出,监督微调(SFT)会导致权重主分量被大幅修改,引发灾难性遗忘,而强化学习(RL)使用on-policy数据训练,主要改变权重次要分量,从而避免该问题[10] AI驱动下的社会与生产力变革 - **生产力重构**:带思维链的推理模型成功让强化学习重回主流,并推动了AI4Coding及AI Agent发展,使大模型得以大规模落地并大幅提高生产力[15] - **工作模式转变**:AI可以24小时不间断工作,人类的工作重心转变为确保为AI提供足够的工作量(如用完每日剩余token数)并减少介入,让AI自主长时间工作[15][16] - **个人价值重估**:个人价值评估标准从“本人产出的劳动数量及质量”转变为“人加AI的产出是否大于AI本身”,导致投入-回报曲线变为类似soft-thresholding的曲线,存在一个能力阈值(费米能级)[20][23] - **社会两极分化**:低于“费米能级”的智能体(人+AI)供给过剩,价值极低;高于该水准的智能体则数量稀少且价值高昂,形成“一骑当千”的效应[25][27] - **“费米能级”上升**:这条能力水准线会随时间上移,其上移速度取决于能获取到的、比它更强的数据量,若训练过程有突破(如新合成数据手段),进展可能加速[27] 遍地神灯时代的独立思考与个人策略 - **新时代的稀缺品**:在AI能力充沛的“遍地神灯”时代,真正稀缺的是人类的“愿望”本身以及将愿望化为现实的坚持[28][29] - **独立思考的丧失风险**:大模型提供廉价思考结果,可能导致人们逐渐丧失原创能力,思想被生成式内容和推荐系统同化,成为精神上的“懒人”[29] - **保持独立的战术**:需要不断审视AI的答案、挑毛病并发现其无法解决的新问题;未来新价值来源于新数据发现、对问题的新理解以及新的可行创新路径[30] - **保持独立的战略**:每个人都需要从“员工”角色向“老板”或“创始人”角色转变,核心在于拥有坚定的“目标感”,并动用一切手段(包括大模型)去达成远大目标[31] - **对教育的启示**:应鼓励孩子树立宏大的志向(如在土卫六开演唱会),这将是他们保持主动思考、始终屹立于“费米能级”之上的根本源泉[33]
LeCun曝Meta作弊刷榜,田渊栋:我没想到这个结局
量子位· 2026-01-04 13:21
Meta内部管理与Llama 4事件 - 公司为应对竞争压力,要求GenAI部门加速AI开发和部署,并调派原FAIR团队人员参与Llama 4项目[6] - 团队内部沟通破裂,管理层倾向于已验证的、可直接落地的技术,而研究团队希望探索新方向[7] - Llama 4在基准测试中存在结果被篡改的问题,团队对不同基准测试使用了不同的模型以获取更好结果[1] - Llama 4项目表现不佳且涉及排行榜造假,导致管理层对团队失去信心,并将相关人员边缘化[10] - 事件引发公司团队大换血,一方面天价从外部挖人,另一方面大刀阔斧裁减老员工[11] 关键人物动态:田渊栋 - 田渊栋及其团队在一月份被临时调入Llama 4项目救火,十月份在Llama 4.5训练完成后即被裁撤[13] - 团队被迫放下原有工作,在距离发布截止日期仅剩2个月的情况下接手项目并处理所有棘手工作[14] - 田渊栋曾预想四种可能结局,但最终遭遇第五种结局:未被问责,但整个团队被裁撤[15][16] - 田渊栋在Meta工作十多年,近年已抱有“公司快把我开了吧”的心态,此次变动为其小说创作提供了新素材[18] - 在强化学习与大模型推理方面取得新探索,包括连续隐空间推理(coconut)、Token Assorted、DeepConf、ThreadWeaver等方法提升推理效率,并在可解释性方面研究Grokking现象[19] - 田渊栋已正式宣布创业,将担任一家新初创公司的联合创始人,并拒绝了其他大厂的邀请[33] 关键人物动态:LeCun - LeCun离职后批评公司对大语言模型(LLM)过度沉迷,尤其点名批评新挖来的超级智能实验室成员年轻且缺乏经验[22][23] - LeCun认为LLM本质受限于语言,是实现人类水平智能的“死胡同”,强调需通过世界模型理解物理世界规律[25][26] - LeCun创立新公司Advanced Machine Intelligence (AMI),全力投入开源世界模型研发,其本人担任执行主席而非CEO[27][28][29] - 新公司研究聚焦于V-JEPA架构,旨在通过视频和空间数据学习理解物理世界,使AI具备规划、推理和长期记忆能力[32] - LeCun预计将在12个月内见证该技术的初始版本,并在近几年内实现大规模进展[32] 行业竞争与影响 - DeepSeek的横空出世给公司带来巨大压力,导致Llama 4在发布前即被视为落后,促使公司疯狂加码AI投资[4][5] - 公司内部因竞争压力和高层决策,引发了核心研究人员离职并转向创业的浪潮[3]
港中深韩晓光:3DGen,人类安全感之战丨GAIR 2025
雷峰网· 2025-12-13 17:13
文章核心观点 文章通过港中深助理教授韩晓光的视角,探讨了在视频生成模型(如Sora)兴起的背景下,三维生成与世界模型构建的必要性及其不可替代的价值 核心观点认为,尽管端到端的“炼丹”式AI在性能上取得突破,但为了满足人类对可解释性、安全感和精细可控的需求,尤其是在构建可交互的虚拟世界、发展具身智能以及实现数字到实体制造等领域,三维生成与显式的、结构化的建模方法是不可或缺的 [2][3][4][58][61][63] 三维生成发展历程与现状 - 三维生成在深度学习兴起前就已存在,早期主要聚焦于“类别限定”的生成,即为椅子、车辆等特定类别分别训练模型 [9] - “开放世界”的三维生成大约从2023年的Dreamfusion工作开始兴起,实现了从文本直接生成3D模型,但基于优化方法,生成速度较慢,通常需要半小时到一小时 [11][12][14] - 当前进入大模型时代,例如Adobe的Large Reconstruction Model和上海科大的Clay工作提出了“原生模型”概念,商业应用如腾讯混元3D的3.0版本已能实现从单张图像生成高质量三维模型 [16] 三维生成的发展趋势 - 趋势一:更精细,追求几何层面的极致细节表现,例如数美万物的Spark 3D [19] - 趋势二:更结构化,生成的三维模型需要能被拆解成独立部件以便编辑,例如混元3D的“X-Part”工作 [19] - 趋势三:更对齐,解决生成模型与输入图像在细节上不对应的问题,例如输入图像栅栏有5条横杠而生成模型变成6条的问题 [20] 视频生成兴起对三维生成的冲击与反思 - 视频生成技术(如Sora)的出现对三维内容创作领域造成冲击,因为它能用文本指令直接输出视频,跳过了传统三维建模、绑定、渲染等复杂流程 [24][28] - 视频生成当前存在核心局限:物理模拟不够真实、3D空间不一致、内容可控性不足(如难以精细修改视频中物体的特定属性) [29][30] - 尽管Sora2和谷歌Veo3已展示出初步的可控能力(如控制视角变化),但真正的危机感促使行业思考视频生成模型是否真的不需要3D [34][37] 视频模型与三维结合的潜在路径 - 路径一:完全不用3D,采用纯2D的端到端范式,依赖海量视频数据训练 [38] - 路径二:利用3D仿真作为“世界模拟器”,先根据条件生成可控但不真实的CG视频,再用神经网络将其转化为真实视频 [39] - 路径三:将3D信息作为控制信号输入,例如基于三维重建的场景模型来生成空间一致的长视频,以解决“长程记忆”问题 [38][39] - 路径四:用3D合成数据辅助训练,利用3D仿真批量生成可控的、带标注的视频数据,以增强端到端视频模型的训练 [39] 世界模型的分类与三维的必要性 - 世界模型的核心是对真实世界进行数字化,以计算方式理解和表达规律,并用于预测 [41] - 第一类:服务于“人类共同体”的宏观世界模型,如气候模拟、社会系统推演 [43] - 第二类:服务于“个人”的体验与探索模型,核心是可交互性,需要数字化物理与交互规律以构建沉浸式虚拟世界 [43] - 第三类:给机器用的世界模型,如用于自动驾驶或具身智能机器人,需要能根据动作预测环境变化 [44] - 为实现可交互的世界模型(如VR体验需要触觉反馈),3D是必要的 [45] 具身智能与三维生成的关系 - 发展具身智能的主流方法是“向人类学习”,这需要首先对人类与物体的交互过程进行精确的、动态的数字化捕捉与还原,3D乃至4D的还原是必要基础 [48] - 为了让机器人安全高效地探索和学习,需要创造可交互的三维仿真环境,因此具身智能同样离不开3D [48] 从数字到实体的制造需求 - 在三维打印、智能制造、CAD模型生成等领域,实现从虚拟设计到实体制造的个性化定制,3D是绝对的基础,例如牙齿生成项目就是为了制造精确的牙齿模型 [50][52] 技术路线之争:显式与隐式 - 隐式(数据驱动)路径:构建端到端神经网络,依赖“潜变量”编码所有信息,是典型的“黑箱”逻辑 [56] - 显式(模型驱动)路径:显式地重建三维模型,并基于明确的几何与物理公式进行计算和判断,依赖对世界的明确建模 [57] - 可解释性与安全感:显式的、可视化的3D/4D信息是人类能够直观理解和信任的维度,能带来安全感,而高维的“潜变量”则让人难以理解其运作原理 [57][58][59] - 当前AI时代过分追求性能而可解释性不足,实现可解释性需要3D作为人类能够直观理解的基石 [61][63]
英伟达开源最新VLA,能否破局L4自动驾驶?
钛媒体APP· 2025-12-02 21:01
英伟达开源VLA模型Alpamayo-R1的核心事件 - 英伟达于12月1日正式开源其最新自动驾驶视觉语言行动模型Alpamayo-R1,该模型能同时处理车辆摄像头画面、文本指令并输出行车决策 [2] - 模型已在GitHub和Hugging Face平台开源,并同步推出Cosmos Cookbook开发资源包 [2] - 这是行业内首个专注自动驾驶领域的开源VLA模型,旨在为L4级自动驾驶落地提供核心技术支撑 [3] Alpamayo-R1模型的技术特点与优势 - 相较于传统黑盒式自动驾驶算法,该模型主打"可解释性",能够给出自身决策的理由,有助于安全验证、法规审查与事故责任判定 [3] - 模型基于全新的"因果链"数据集训练,不仅标注车辆"做了什么",更注明"为什么这样做",使模型学会基于因果关系的推理 [4] - 通过引入语言模态作为中间层,将视觉感知转化为可解释的逻辑链,具备处理长尾场景和复杂突发状况的潜力 [4] - 采用模块化VLA架构,将视觉语言模型Cosmos-Reason与基于扩散模型的轨迹解码器结合,可实时生成动态可行的规划方案 [5] - 模型在复杂场景下的轨迹规划性能提升12%,近距离碰撞率减少25%,推理质量提升45%,推理-动作一致性增强37% [5] - 模型参数从0.5B扩展至7B过程中性能持续改善,车载道路测试延迟为99毫秒,验证了城市场景部署的可行性 [5] 英伟达的自动驾驶战略与生态构建 - 英伟达试图通过开放核心技术,降低自动驾驶开发门槛,加速软件栈标准化,打破原来Robotaxi昂贵的"全栈自研"模式 [3] - 公司正在构建"安卓式"的Robotaxi生态,计划2027年起部署10万辆Robotaxi [7] - 已宣布与Uber、奔驰、Stellantis、Lucid等公司合作,共同打造"全球最大L4级自动驾驶车队" [7] - 截至2025年10月,英伟达云端平台已积累超过500万小时的真实道路数据 [7] - Hyperion 10自动驾驶平台实现了"从仿真到实车"的闭环,车企采用英伟达整套方案可快速实现L4级能力上车 [6][7] VLA技术对行业的影响与竞争格局 - VLA被视为下一代技术竞争的关键变量,行业竞争正从功能实现转向高阶智驾能力比拼 [2] - 国内理想汽车、小鹏汽车、长城汽车、元戎启行等已实现VLA量产落地 [3] - 英伟达的开放生态有望推动玩家共享匿名化特征数据,带动整个生态技术迭代速度从线性转变为指数级提升 [8] - 元戎启行CEO预测VLA可能带来"断层式的领先",成为下一代竞争的关键变量 [9] 技术挑战与行业现状 - 目前要满足车规级时延,模型需要在RTX A6000 ProBlackwell级别的卡上运行,该卡INT8算力达4000T,是Thor的6倍左右 [10] - 英伟达开源是为了更好地销售硬件和全栈解决方案,模型与英伟达芯片及开发平台深度绑定 [10] - 有业内人士指出,此次开源对自动驾驶领域入门选手有价值,但对专业公司意义不大 [3] - VLA是否为最佳自动驾驶技术仍在实践过程中,模型工具链基于英伟达平台对开发者是一种限制 [11]
腾讯研究院AI每周关键词Top50
腾讯研究院· 2025-11-22 10:33
算力与基础设施 - 超节点操作系统发布,主体为openEuler [3] - Arm与NVIDIA就NVLink技术达成合作 [3] - 中科天算推进太空超算项目 [4] 大模型进展 - xAI发布Grok 4.1模型 [3] - 谷歌推出Gemini 3及Gemini 3 Pro Image模型 [3] - OpenAI进行GPT-5.1版本更新 [3] - MiroMind发布MiroThinker v1.0模型 [3] - 智谱AI推出GLM Coding Plan [3] AI应用与产品 - DeepMind发布通用AI智能体SIMA 2及天气预报模型WeatherNext 2 [3][4] - 盛大发布EverMemOS操作系统 [3] - Sandbar推出Stream智能戒指 [3] - NotebookLM增加Deep Research和图像识别功能 [3] - 北京大学开发AI-Newton应用 [3] - Meta推进AI组织转型并发布SAM 3D模型 [3][4] - 阿里推出千问APP [3] - 小米发布智能家居产品Miloco [3] - 未来医生推出MedGPT [3] - 谷歌更新AI科学家功能 [3] - MiniMax推出9.9元编程套餐 [4] - PixVerse发布V5 Fast模型 [4] - 蚂蚁集团推出灵光应用 [4] - Gambo AI开发氛围游戏 [4] - 谷歌推出Antigravity AI IDE [4] - Manus发布Browser Operator [4] - 微软推出Work IQ应用 [4] - 斑马口语推出AI外教功能 [4] - QQ浏览器进行AI+小窗更新 [4] - Second Me推出AI数字分身服务 [4] - Lumia发布智能耳环产品 [4] 行业观点与趋势 - OpenAI探讨AI可解释性问题 [4] - xAI对Grok未来进行展望 [4] - 学者李飞飞谈论世界模型 [4] - CB Insights总结六大AI趋势 [4] - 学者吴恩达讨论AI真实瓶颈 [4] - 英伟达CEO黄仁勋回应AI泡沫论 [4] 资本与商业动态 - 贝佐斯投资物理AI创业领域 [4] - 微软与英伟达投资Anthropic公司 [4] 行业事件 - Cloudflare发生全球宕机事件 [4] - 学者Yann LeCun从Meta离职创业 [4]
智能早报丨“羊毛党”用AI骗取“仅退款”;华为将发布AI领域突破性技术
观察者网· 2025-11-17 10:02
苹果公司管理层潜在变动 - 蒂姆·库克最早可能于明年卸任苹果首席执行官,其任职已长达14年 [1] - 苹果硬件工程高级副总裁John Ternus被视为最可能接班人,其于2001年加入公司,深度参与所有主要硬件产品工程设计 [1] - 苹果习惯在1月底财报后公布重大人事变动,若明年初宣布新CEO,可为6月WWDC和9月iPhone发布会前的管理层磨合留出时间 [1] 电商行业新型欺诈风险 - 部分消费者利用AI工具伪造商品瑕疵图片以骗取“仅退款”,百元内商品是重灾区 [1] - AI生成的图片仿真度极高,难以辨识,仅需输入简单指令即可快速生成 [1][2] - 围绕“仅退款”已衍生灰色产业,支付288元学费可学习相关技术,一个账号约可成功退款30次,有案例显示累计获利达2000元 [2] 存储芯片市场动态 - 因上游存储芯片价格疯涨,小米、OPPO、vivo等多家手机厂商已暂缓本季度采购,库存普遍低于两个月,部分厂商DRAM库存低于三周 [2] - 存储芯片原厂(美光、三星、SK海力士)报价涨幅接近50%,并表示若不接受报价可将产能转向服务器客户 [2] - AI大模型浪潮推动数据中心对存储芯片需求激增,同款产品给服务器厂家的报价往往高出手机厂商30%以上 [2] 华为AI技术突破 - 华为将于11月21日发布AI领域突破性技术,旨在将GPU、NPU等算力资源利用率从行业平均的30%-40%提升至70% [3] - 该技术通过软件创新实现英伟达、昇腾及其他三方算力的统一资源管理与利用,屏蔽硬件差异 [3] - 技术路线与以色列AI初创公司Run:ai有共同性,后者于2024年底被英伟达以7亿美元收购 [3][4] AI基础研究与前沿探索 - 北京大学团队推出AI-Newton系统,在无监督、无物理先验知识前提下,成功重新发现牛顿第二定律、能量守恒定律等基础规律 [5] - 该系统在测试中平均识别出约90个物理概念和50条一般定律,展现出渐进性和多样性,为AI驱动自主科学发现提供新范式 [5] - OpenAI发布可解释性新研究,提出训练稀疏模型使内部机制更易理解,通过找出“最小回路”量化可解释性,但研究仍处早期阶段 [6]
硅谷风投正集体押注一批“反叛”的AI实验室,一个月砸下25亿美元,AI研究需要巨头体系外的新范式
犀牛财经· 2025-11-13 15:43
行业趋势:资本涌向新一代AI实验室(neolab) - 硅谷投资人在过去一个多月内集中押注被称为neolab的研究型AI创业公司,这些公司试图在巨头忽视的方向上重新定义AI研究范式[1] - 仅五家neolab初创公司就在过去一个月内完成或洽谈了高达25亿美元的融资,显示出资本对“研究本身”的重新定价[1] - 行业意识到,当OpenAI、Anthropic、Google等巨头被规模、流程与算力体系锁定时,便难以快速试错,这为neolab提供了发展缝隙[1][4] 公司案例:Isara - 前OpenAI安全研究员Eddie Zhang创立的Isara正在研发一套能让上千个AI智能体同时协作的软件系统,用以解决财报预测、企业尽调等复杂任务[2] - Isara的核心研究难题在于“协调机制”,即如何让成千上万个智能体在冲突中找到共识并自动分工,这涉及攻克智能体规划及在信用分配、强化学习与安全边界之间重新平衡[2] - 公司正与多家投资机构洽谈融资,目标估值约为10亿美元,其愿景是探索由成千上万小智能体协作组成的“数字社会”[2] 公司案例:Humans& - 前xAI研究员Eric Zelikman创立的Humans&目标是打造“具备情感智能”的AI,公司成立数月便已讨论以40亿美元估值融资10亿美元的可能性[3] - Nvidia与AMD均有意投资,两家GPU巨头希望这些新实验室成为下一代算力大户[3] - 其研究核心在于将强化学习扩展到“长时任务”,使AI能进行长达数周或数月的长期决策、战略规划,追求“长期最优”而非“一次答对”[3] 巨头背景与行业缝隙 - OpenAI与Anthropic今年合计营收或将达到数百亿美元,并计划到2028年累计投入1340亿美元的算力开支,这让后来者难以突破[4] - 但巨头规模本身也孕育了缝隙,其组织、基础设施和招聘体系围绕特定范式搭建后难以转向[4] - 前Salesforce首席科学家Richard Socher正在筹建一家新实验室,计划融资10亿美元,目标是“用AI来自动化AI研究”,打破“一问一答”的交互结构[4] 资本逻辑与细分领域崛起 - 资本押注neolab也因其提供“更安全的风险”,Adept、Inflection AI等明星实验室最终被Amazon、Microsoft等收编,为投资人提供了“半退出”的安全边界[5] - 更多细分研究实验室在崛起,例如前OpenAI研究负责人创立的Periodic Labs专注于“AI自动化科学研究”,并应用于低能耗超导材料探索[6] - 由前DeepMind研究员创立的Reflection AI则专注于高质量开源模型,正面挑战OpenAI与Anthropic的闭源路线[6] 面临的挑战与未来路径 - 算力成本是最大考验,小团队需依靠稀疏化模型、低精度推理等创新架构来弥补计算资源不足[7] - 长期任务的评测体系尚未成熟,行业缺乏衡量“智能体协作质量”和“研究自主性”的标准[7] - 商业模式是关键挑战,neolab必须以“中间成果”嵌入自动化投研、企业财务分析等特定行业场景,形成“研究—产品—收入”闭环才能实现自我造血[7]
商业银行应用大语言模型的可解释性挑战 | 金融与科技
清华金融评论· 2025-09-07 18:13
大语言模型在银行业的可解释性挑战 - 大语言模型为银行业数字化转型注入强大动力,但其固有的不透明性使可解释性成为必须跨越的门槛,商业银行需建立透明可信的AI应用框架以实现安全合规的潜能释放[3] - LLM的决策过程呈现"黑箱"特性,在技术层面难以破解,并对算法问责与法律救济构成实质性障碍,同时其"幻觉"现象(生成错误或虚构信息)进一步侵蚀模型决策的可解释性与可信度[4] 监管法规对可解释性的刚性约束 - 金融监管机构日益强调AI模型透明度,要求银行充分披露决策依据以满足合规要求并保护消费者权益,构成LLM应用的首要外部约束[6] - 欧盟《通用数据保护条例》等法规确立自动化决策的透明度要求,国内监管部门同样要求银行在使用AI模型拒绝信贷申请时必须说明原因,以避免歧视性或不公正结果[7] - 全球监管科技政策趋同,新加坡FEAT原则、中国《人工智能算法金融应用评价规范》及欧盟《人工智能法案》均将可解释性列为核心要求,表明其已从"软性倡议"转变为"硬性要求"[8] 技术机制的可解释性障碍 - LLM基于Transformer架构包含数百亿至万亿级参数,结构极端复杂,注意力机制与模型预测特征重要性仅存在弱相关性甚至不一致性,传统解释算法计算成本过高难以有效剖析高维模型[11] - "幻觉"现象(生成看似合理但事实不符的内容)普遍存在且无根治方法,导致模型输出无法追溯至可靠输入源,错误可能源自训练语料噪声或生成过程随机性,严重阻碍对决策机制的稳定解释[12]
谷歌大脑之父首次坦白,茶水间闲聊引爆万亿帝国,AI自我突破触及门槛
36氪· 2025-08-25 11:35
个人成长与早期经历 - 童年时期频繁搬家,12年内更换11所学校,培养了适应能力 [7] - 9岁时接触早期Intel 8080计算机套件,通过BASIC语言书籍自学编程 [9][11][13] - 13岁时打印400页游戏源码学习并发编程,完成首个复杂软件移植 [14] - 本科期间接触遗传编程和神经网络,1990年尝试用32处理器并行训练神经网络 [15][17] 神经网络与工程突破 - 90年代提出数据并行/模型并行概念,早于相关术语普及 [8] - 2011年与吴恩达在谷歌茶水间交流后,启动Google Brain项目,目标是用GPU训练超大规模神经网络 [25][26] - 使用2000台计算机(16000核心)训练分布式神经网络,在视觉任务中实现无监督学习,生成"平均猫"图像 [26][27][30] - 无监督模型在Imagenet数据集上使错误率降低60%,监督语音模型在800台机器训练5天后错误率降低30% [30] - 推动定制机器学习硬件TPU开发,支持神经网络规模化应用 [30] 技术演进与核心贡献 - 推动词向量(word2vec)技术,用高维向量表示词汇语义 [32] - 序列到序列模型与LSTM网络应用于机器翻译,提升序列处理能力 [34][36] - 注意力机制与Transformer架构突破,实现n平方复杂度下的高性能序列处理 [38][40] - 谷歌大脑框架被数百个团队采用,支持搜索、广告等核心业务 [26] AI发展现状与未来方向 - LLM在非物理任务上超越普通人表现,但在专业领域尚未达到人类专家水平 [47] - 可解释性研究通过可视化或直接询问模型决策机制推进 [43][44] - 未来突破依赖自动化闭环:自动生成想法、测试、反馈及大规模解决方案搜索 [49] - 强化学习与大规模计算加速科学、工程领域发展,预计影响未来5-20年进程 [49] - 未来5年聚焦开发更强大、成本效益更高的模型,服务数十亿用户 [50] 行业影响与里程碑 - Google Brain项目促成神经网络在谷歌产品中的大规模部署 [26][30] - 纽约时报报道"猫图像"突破,成为AI认知里程碑事件 [27] - TensorFlow与TPU硬件推动行业机器学习基础设施标准化 [1][30]