深度学习
搜索文档
奥特曼和纳德拉,艰难重组后首次对谈:「我们是天作之合」
36氪· 2025-11-03 08:23
坐在镜头前,40岁的奥特曼脸上绽放出难以掩饰的微笑——这种笑容通常只在他谈起刚出生的儿子时才会出现,但此刻让他同样欣喜的是另一个「孩 子」:算力。 微软首席执行官萨蒂亚·纳德拉打趣说:「每当奥特曼谈起他的新生宝宝或者计算机算力时,脸上都会露出笑容。」 这一幕发生在一次备受瞩目的对谈中。 奥特曼和纳德拉这两位科技领袖再次同台,庆祝双方在本周敲定的一项里程碑式协议——一份旨在重塑AI未来的深度合作。 谁能想到,六年前一次看似大胆的押注,竟孕育出当今科技业最引人注目的联盟之一。 事情要追溯到2019年。当时的OpenAI还只是个专注于AI研究的非营利组织,急需大量资金和算力来训练日益庞大的模型。 微软适时抛出橄榄枝:10亿美元的投资和Azure云计算资源。 这在当时是石破天惊的赌注,甚至微软董事会内部也一度存疑。 然而,纳德拉慧眼识珠,他从中看到了自然语言处理技术的新曙光,延续着比尔·盖茨当年对自然语言界面的执念。 这笔投资让OpenAI得以在深度学习方向上放手一搏。 正如奥特曼后来所说:「如果没有萨蒂亚当初的笃定,我们不可能走到今天。」 六年后的今天,双方都笑称这段合作「没有脚本,全凭信念」,却结出令人惊叹的硕果 ...
端到端和VLA,这些方向还适合搞研究
自动驾驶之心· 2025-11-03 08:04
可以看出来, 无论技术路线怎么变,深度学习都一直存在 。 这也给 广大想要在这个技术飞快发展,担心随时被淘汰的"牛马"一个提示,学它! 不仅要学前沿理论和技术,还要学底层的基础理论,锻炼自己的代码能力 ,为了帮大家快速入门端到端和VLA,真正搞懂如何设计自己的端到端模型 , 我们联合了工业界和学术界的大佬开展了 《智驾升维——大 模型驱动的端到端之路》。 双十一特价优惠, 1.98 元 享试看 自驾 VLA 尖端课题组三节 自动驾驶领域,技术路线从开始基于规则的时期,逐渐转变为行业量产的以理想、小鹏等新势力智驾为代表的 端到端到VLA范式转变 时期 ,现阶段 来到以蔚来为代表的 世界模型时期 。 课程介绍 从模块化的量产算法发展到端到端,再到如今的VLA。核心算法涉及BEV感知、视觉语言模型VLM、扩散模型、强化学习、世界模型等等。 通过学习能够掌握端到端技术框架,对BEV感知、多模态大模型、强化学习、扩散模型等关键技术有更深刻的了解; 可复现扩散模型、VLA等主流算 法框架;能够将所学应用到项目中。 大部分同学反馈学完全部课程后能够达到 1年左右端到端自动驾驶算法工程师水平 ,无论是实习、校招、社招都能从中 ...
Meta裁员、OpenAI重组:万字复盘谷歌起笔的AI史诗,如何被「群雄」改写剧本?
机器之心· 2025-11-02 09:37
AI行业格局转变 - AI行业正从“无限淘金热”转向残酷的“阵地战”,资本开始重新评估价值,巨头们审视成本与效率 [1] - Meta FAIR部门遭裁员、OpenAI进行资本重组、AWS大裁员等一系列动荡表明行业进入新阶段 [1] 谷歌的AI基因与早期探索 - 人工智能是谷歌从诞生之初的核心理念,受创始人Larry Page父亲(早期机器学习教授)的影响 [5][9] - 2000年Larry Page断言人工智能将是谷歌的终极版本,终极搜索引擎就是人工智能 [9] - 谷歌起家的PageRank算法运用统计方法排序网页,带有早期AI思想印记 [10] - 2000年末工程师提出“压缩即理解”理论,探索语言模型和机器理解,这是现代LLM思想的早期体现 [12] - 研究成果直接应用于谷歌搜索的拼写纠错功能,并开发了消耗数据中心整体资源15%的语言模型PHIL [14][16] - PHIL在2003年被用于快速实现AdSense系统,为谷歌带来数十亿美元新收入 [15] 深度学习革命与谷歌的拥抱 - 2007年Geoff Hinton将深度学习火种带入谷歌,当时神经网络正被学术界边缘化 [20] - 谷歌的统计方法本身是对僵化专家系统的反叛,为结合深度学习奠定基础 [21] - 2011年吴恩达、Jeff Dean等发起Google Brain项目,目标构建大规模深度学习模型 [27] - Jeff Dean主导开发DistBelief分布式计算系统,采用有争议的异步更新参数方式但被证明高效 [28][29] - Google Brain的“猫论文”实验使用16000个CPU核心训练,神经网络自主学会识别猫脸 [30] - “猫论文”证明无监督学习能力,催生YouTube算法推荐时代,驱动数百亿乃至数千亿美元产业价值 [32][33][34] 关键突破与硬件变革 - 2012年AlexNet在ImageNet竞赛中将错误率从25%以上降至15.3%,提升超过40% [35][37] - AlexNet创造性使用NVIDIA GPU进行并行训练,确立GPU作为AI计算核心硬件的地位 [39] - 谷歌因应算力瓶颈,自研专门用于神经网络计算的TPU芯片,15个月内完成设计到部署 [62][63] - TPU针对矩阵运算优化并采用低精度计算,为谷歌提供成本优势和战略自主权 [63] 人才争夺与实验室建立 - 谷歌以约4400万美元收购AlexNet核心团队DNN Research,被认为是史上最划算交易之一 [41][42] - 2013年扎克伯格力邀Yann LeCun建立FAIR实验室,采用开放研究模式 [43][45][47] - FAIR为Meta提供核心技术、开源工具PyTorch以及Llama系列开源模型 [48] - 2014年谷歌以约5.5亿至6.5亿美元收购DeepMind,但其后与Google Brain存在内耗 [56][57] - DeepMind在AlphaGo项目中击败李世石,并将谷歌数据中心冷却能耗降低40% [58] OpenAI的崛起与转型 - 2015年因马斯克对谷歌垄断的担忧,联合Sam Altman创立OpenAI,获10亿美元初始承诺 [64][65][68] - Ilya Sutskever被使命吸引离开谷歌加入OpenAI,尽管Jeff Dean提供双倍薪酬反聘 [66] - 2018年OpenAI因资金压力重组,设立利润上限子公司并获得微软10亿美元投资 [86][87] - OpenAI转型开发GPT系列模型,GPT-3展现出惊人能力,GitHub Copilot成为首个大规模落地产品 [90][91] - 2021年Dario Amodei因安全与商业化分歧带领核心成员出走,创立Anthropic [92][95] Transformer架构与新时代 - 2017年谷歌发表《Attention Is All You Need》论文,提出Transformer架构 [74][76] - Transformer解决RNN/LSTM序列处理难题,具备高度并行化优势 [76] - 架构展现出“更多数据+更大模型+更多算力≈更好智能”的可扩展性 [80][81] - 谷歌允许论文公开发表,将“钥匙”交给全世界,包括潜在竞争对手 [84] - 论文八位作者后来相继离开谷歌 [84] ChatGPT冲击与谷歌反击 - 2022年11月ChatGPT发布,一周用户破百万,两个月破亿,成为史上增长最快消费应用 [97] - ChatGPT成功震醒谷歌,Sundar Pichai拉响“Code Red”红色警报 [99] - 微软迅速追加100亿美元投资OpenAI,并发布新版Bing搜索引擎直指谷歌核心业务 [99] - 谷歌仓促推出Bard但出现事实错误,促使公司进行大刀阔斧改革 [102][103] - 2023年谷歌合并Google Brain和DeepMind,组建统一Google DeepMind部门由Demis Hassabis领导 [105][106] - 谷歌All in Gemini项目,集中精英力量开发统一多模态旗舰模型系列 [105][106] - Gemini系列快速迭代,Gemini 2.5 Pro成为顶尖模型,并整合进搜索等产品 [107] - Google DeepMind在AI for science领域突破,AlphaFold 2解决蛋白质折叠问题,团队获2024年诺贝尔化学奖 [107][108] 当前竞争格局 - 谷歌一度受大公司体制束缚将王牌拱手让人,OpenAI成为最具实力玩家之一 [109] - Meta曾稳坐开源王座,如今在军备竞赛与成本效益平衡中艰难变革 [109] - 中国AI力量异军突起,DeepSeek、Qwen、Kimi等奋力追赶 [109] - 行业没有永远王者,巨头霸权可能被自身问题拖垮,后起之秀威胁迫近 [110]
一名科学家试着成为更好的CEO |WAVES
36氪· 2025-10-31 01:42
袁进辉坦言,过去的屡败屡战都是自找的。在被光年之外并购前,OneFlow始终挣扎在生死线边缘,最 困难的时候选择了降薪、减员。他后来补充说,整个OneFlow六七年都是这样的状态。 文 | 施嘉翔 编辑 | 刘旌 袁进辉和OneFlow一度是ChatGPT爆发后最走运的那个: 在王慧文发布"英雄帖"后,OneFlow被光年之 外并购,这家成立6年的公司一跃成为牌桌上资源最好的团队。 但仅仅两个月后,一切又戏剧化地烟消 云散。 在聚光灯下经历跌宕起伏的四个月后,袁进辉和OneFlow团队决定重新创业。从有全行业最充沛的资 源,到突然消失,而其他玩家已经身处高位,心理冲击毋庸置疑。但袁进辉说,若仍想留在牌桌上,再 创业是唯一选择。 原因在于,王慧文生病的消息传出后,有公司冲到光年之外办公室挖人,OneFlow骨干成员也接到过超 千万的年薪,但没有一家公司能同时留住所有人。创业是避免团队被肢解的唯一方法。 在光年之外以前,袁进辉的创业同样起伏。和大部分公司不同,OneFlow成立之初就像实验室,前四年 没有任何收入,依赖外界投入。他们在做的事情在当时听起来匪夷所思:颠覆巨头重金投入的深度学习 系统框架( 比如Goo ...
参数空间对称性:深度学习理论的统一几何框架
机器之心· 2025-10-29 17:25
文章核心观点 - 深度学习模型的有效性部分源于神经网络参数空间中广泛存在的对称性,即大量不同的参数配置可实现相同的模型函数 [2] - 参数空间对称性为理解深度学习的优化动态、损失地形和泛化性能提供了统一的数学框架和几何视角 [2][6] - 对称性研究正从理论概念转化为可操作的算法原则,影响优化方法、模型融合及权重空间学习等多个领域 [31] 参数空间对称性的定义与类型 - 参数空间对称性是指保持神经网络损失函数不变的参数变换,数学上表示为 L(g·θ) = L(θ),这些变换构成一个群并在参数空间中定义等价轨道 [6] - 离散对称性如神经元置换对称:交换隐藏层中两个神经元及其关联权重,网络函数保持不变 [4][6] - 连续对称性如ReLU网络的缩放对称和自注意力机制的一般线性对称,可将孤立极小值点拉伸成连续的平坦流形 [7][8][10] 对称性对损失地形的影响 - 连续对称性导致损失地形中出现平坦的极小值流形,沿此流形移动损失值不变,这意味着许多平坦方向由结构对称性决定而非泛化能力 [10][13] - 离散对称性会在参数空间复制大量功能相同的极小值副本,使极小值数量随网络宽度呈阶乘级增长 [13] - 对称性天然创造连接功能等价参数的连续路径,这解释了独立训练模型间观察到的模式连通性及模型融合的有效性 [10] 对称性在优化算法中的应用 - 对称性导致等损失点可能对应不同的梯度和训练轨迹,为算法设计带来新可能 [15][16] - 一类优化方法主动利用对称性在等价轨道中寻找梯度更优的点以加速收敛,另一类方法追求对称不变性使优化结果对初始变换不敏感 [16][19] - 对称性成为理解和改进优化算法的重要线索,其应用思路分为利用自由度和约简冗余两种 [19] 对称性与学习动力学 - 连续对称性对应训练过程中的守恒量,类似物理中的诺特定理,这些量在梯度流中保持恒定 [21][22] - 守恒量如线性网络中相邻层的Gram矩阵差、ReLU网络中输入输出权重的范数差,揭示了训练稳定性并帮助解释优化的隐式偏置 [22][23] - 不同的初始化对应不同的守恒量值,从而影响最终收敛点和泛化性能,参数空间的对称结构决定了学习轨迹与结果的统计分布 [23][25] 跨空间的对称性联系 - 参数空间对称性与数据空间和内部表征空间的对称性紧密相连,当数据分布具有对称性时,模型参数会继承这些结构 [27][28] - 在权重空间学习等新兴方向中,对称性成为新的数据结构,支持等变元网络在模型性质分析、生成及优化权重更新等任务中的应用 [28][29] - 等变元网络可直接在模型权重上进行学习,用于预测模型泛化能力或生成满足特定特征的新模型 [29]
1.4万亿投资、GPT-6、IPO进程,奥特曼回应“新OpenAI”的一切:1小时实录精华版
36氪· 2025-10-29 15:02
当地时间10月28日,OpenAI宣布完成为期近一年的重组,为首次公开募股(IPO)奠定了基础,有望筹集巨额资金,用于支持其庞大的算力投入和科研计 划。 在新的架构下,OpenAI仍由非营利董事会——OpenAI基金会实际控制,其持有营利部门——OpenAI Group PBC(OpenAI集团公共利益公司)26%股 权,按公司近期5000亿美元估值计算,价值约1300亿美元。 此次重组将此前投资转为普通股权,解除投资者潜在收益上限,同时确保非营利方在安全和治理等关键事务上保持监督权。 新OpenAI股权架构示意图 股权结构方面,微软成为第一大股东,持有约27%股权,价值约1350亿美元。 在OpenAI宣布完成资本结构重组的同时,该公司还与微软就合作架构达成新协议。 OpenAI承诺向微软追加采购2500亿美元的Azure云计算服务;且OpenAI仍是微软的前沿模型合作伙伴。微软对OpenAI模型和产品的知识产权授权延长至 2032年,其中包含了通用人工智能实现之后的模型(需配备适当的安全护栏)。 此外,微软现在可以独立或与第三方合作推进通用人工智能,而OpenAI可以与第三方联合开发某些产品。 OpenA ...
OpenAI终于快要上市了,也直面了这23个灵魂拷问。
数字生命卡兹克· 2025-10-29 09:33
OpenAI昨天晚上9点,公布了一个消息。 这个事,影响还蛮大的,基本代表着,OpenAI在开始准备上市了。 然后,奥特曼也非常临时的宣布了重组的消息,以及,北京时间凌晨1点半,开始直播。 整体直播了将近1个小时,一直到凌晨2点半。 这次能感觉到,奥特曼和现任首席科学家Jacob几乎没啥准备,很多时候真的就是临场发挥,然后看评论,回答问题,两人都显得还挺疲惫的。 我也通宵整理了直播中间提到的所有信息,再结合OpenAI最近的一些动向,内容其实还是挺多的。 不过,在说直播之前,还是得说一下这次整体的引子,也是一切的源头。 就是OpenAI,历经将近一年,终于完成了重组。 这其实是2024年12月他们提的一项重组计划,那时候, OpenAI 试图将有限盈利子公司从非营利母公司的直接控制中释放出来,让 非营利组织 将出售控制权换取大笔股权,转而成为主要股东和慈善实体,从而使OpenAI转变为一个可以自由增发股票、IPO上市的公司 。 对OpenAI历史有了解的朋友可能都知道,OpenAI其实是纯粹的非营利 非机构 起家,2015年的时候奥特曼和马斯克等巨佬们一起创立的,目标 是,"确保通用人工智能(AGI)造福全人 ...
2025年世界科技与发展论坛举行 百度吴甜:深度学习是人工智能关键核心技术
搜狐财经· 2025-10-28 13:26
文心大模型的能力拓展和效率提升,得益于飞桨和文心的联合优化,包括框架模型的联合优化,也包括框架算力的联 合优化。通过训练和推理的技术创新,ERNIE-4.5-300B-A47B模型上实现预训练MFU达47%, ERNIE-4.5-300B-A47B 模型在TPOT 50ms时延条件下,实现了输入57K tokens/秒、输出29K tokens/秒的高吞吐性能。 10月27日,由中国科协主办的2025年世界科技与发展论坛在北京开幕。百度集团副总裁、深度学习技术及应用国家工 程研究中心副主任吴甜出席开幕式并做主题演讲,分享了深度学习技术如何赋能AI+产业数智化转型。吴甜表示,深 度学习是人工智能关键核心技术,在过去一段时间驱动AI实现了飞跃式进步,为大模型的爆发提供了基础。深度学习 平台一方面支持大模型的研发,另外一方面和大模型协同优化,支撑产业智能化转型。 百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜 吴甜讲到,深度学习平台下接芯片,上承大模型和应用,AI的开发、训练、推理部署以及产业落地,都离不开深度学 习平台的支撑。以百度飞桨为例,作为百度自研的产业级深度学习开源开放平台,飞桨从核心框架、 ...
Yoshua Bengio,刚刚成为全球首个百万引用科学家!
机器之心· 2025-10-25 13:14
文章核心观点 - Yoshua Bengio成为Google Scholar上首位引用量超过100万的计算机科学家,其引用量达1,000,244次,这标志着人工智能领域从理论走向现实的二十年发展历程[1][7][48] - Bengio的学术成就与AI技术的发展曲线高度重合,其百万次引用是对AI改变世界的波澜壮阔历史的铭刻[5][7] - 作为深度学习领域的奠基人之一,Bengio在推动技术进步的同时,也积极承担社会责任,成为AI伦理与安全的重要倡导者[8][18][47] 学术成就与引用数据 - Yoshua Bengio的Google Scholar总引用量为1,000,244次,其中自2020年以来的引用量为723,853次,h-index为251,i10-index为977[1] - 其引用量最高的论文《Generative Adversarial Nets》被引104,225次,与Hinton、LeCun合著的《Deep learning》被引103,249次,两篇论文合计贡献了其总引用量的五分之一以上[1][21][33] - 引用量超过1万次的论文或著作有19篇,超过1000次的有96篇[21][34] - 深度学习“三巨头”中,Geoffrey Hinton和Yann LeCun的引用量分别为972,453次和约43万次[2][3] 关键技术贡献 - 2014年与Ian Goodfellow等人共同提出生成对抗网络,通过生成器与判别器的对抗训练框架开创了生成式AI的重要分支[24][25] - 2003年发表《A Neural Probabilistic Language Model》,首次引入“词嵌入”概念,为现代语言模型如BERT、GPT奠定基础[18] - 1997年与合作者引入长短期记忆网络,提升了神经网络处理序列数据的能力,为自然语言处理革命奠定了基础[18] - 2009年发表《Learning Deep Architectures for AI》,系统阐述深度学习理论,为训练更深层网络铺平道路[18][34] 行业影响与地位 - 与Geoffrey Hinton、Yann LeCun共同获得2018年图灵奖,被誉为“深度学习三巨头”,推动了AI技术从边缘走向世界中心的爆发[8][45] - 选择扎根蒙特利尔而非加入硅谷巨头,领导蒙特利尔学习算法研究所成为全球领先的AI研究机构,将蒙特利尔打造成全球AI中枢[16][17] - 其学术引用增长曲线与AI技术爆发曲线完美重合,百万次引用成为AI领域发展的里程碑事件[5][7] 当前研究动态与社会责任 - 现年61岁仍持续以第一作者身份发表研究,2025年在Science发表《Illusions of AI consciousness》并领导撰写AI安全国际报告[36][37][38] - 积极倡导AI伦理与安全,推动《蒙特利尔AI负责任发展宣言》,支持禁止“致命性自主武器”的国际条约,呼吁对强大AI系统建立监管护栏[18][19][27] - 发起非营利组织LawZero,旨在构建能够检测和阻止自主智能体有害行为的“诚实”AI系统[20][27]
百亿私募再破百家:这次有何不同?
21世纪经济报道· 2025-10-23 23:05
21世纪经济报道记者李域 实习生陈丽华 中国私募基金行业蓬勃发展,百亿私募作为行业头部力量,一直备受市场关注。 私募排排网最新数据显示,截至2025年10月22日,百亿私募数量突破至100家,较9月底的96家新增4家。其中上海新方程私募、望正资产、旌安投资为再次 回归百亿阵营的熟面孔,大道投资为首次新晋的百亿私募。 多位业内人士认为,A股市场企稳回升,权益类资产收益提升,带动私募产品业绩与规模同步上升。据统计,2020年、2021年、2022年、2023年、2024年, 存续备案的百亿证券私募管理人数量依次为71家、107家、113家、104家和89家。 值得关注的是,2023年末的104家百亿私募中,百亿量化私募33家,百亿主观私募58家,混合策略私募13家。而此番再次破百,量化私募数量占比居首,共 46家,主观私募紧随其后,共44家,混合策略私募8家。 数量占比持续上升,一方面是因为百亿量化私募在收益端展现出压倒性优势,前三季度38家有业绩展示的百亿量化私募平均收益率达31.90%,较19家百亿 主观私募24.56%的平均收益率高出7.34个百分点。另一方面,策略持续迭代与风控体系升级进一步增强了量化私募 ...