Workflow
Scaling Laws
icon
搜索文档
2024 到 2025,《晚点》与闫俊杰的两次访谈,记录一条纯草根 AI 创业之路
晚点LatePost· 2026-01-09 10:38
文章核心观点 - 文章通过对比MiniMax在2024年初与2025年初的两次访谈,揭示了公司战略认知与行业议题的演变[4][6] - 公司核心信仰始终是“Intelligence with everyone”,致力于做出服务普通人的AI产品,而非项目或大杀器[5][8][9] - 公司认知发生关键转变:从初期同时追求技术与产品,到明确自身是一家技术驱动型公司;并深刻认识到“更多用户不会直接让模型变得更聪明”,批判套用移动互联网逻辑(如过度追求DAU、依赖用户反馈和AB测试)是行业误区[4][57][60][93] - 基于新认知,公司调整策略:将技术迭代定为最高目标,而非收入或增长;坚定推进开源以加速技术进化;在应用层面避开与大厂的正面竞争,寻找差异化空隙[54][56][95][97] 公司战略与认知演变 - **2024年初目标**:技术上对标GPT-4,产品上将用户规模翻十倍,实现单个产品千万DAU[4] - **2025年认知转变**:DAU被视为“虚荣指标”,做大模型的误区是套用移动互联网逻辑,因为用户数据不能直接提升模型智能,提升核心在于训练和迭代新模型[4] - **技术驱动明确化**:公司明确为技术驱动型公司,当技术与产品冲突时,技术决策优先,例如为保障算法上限而牺牲产品页面完善度[61] - **目标重设**:2025年目标调整为聚焦技术研发,而非收入或增长目标[95] 技术路线与研发理念 - **早期豪赌MoE**:在2023年夏季,公司投入80%以上算力与研发资源研发混合专家系统,因计算资源与数据量限制,只有MoE能训完,且dense模型无法承受生成token的成本与延迟[9][10] - **技术成果**:2025年1月发布的M1是首个使用线性注意力机制的千亿参数大模型;MiniMax-01系列是首个大规模实现线性注意力机制的模型,旨在高效处理长上下文,开启Agent时代[5][70][85] - **研发方法论**:信仰并追求优化“Scaling Laws”,认为通过提升数据质量、优化算法与训练方法,可以实现比原始定律快数倍甚至十倍的性能提升[20][22][23] - **开源策略转变**:认识到技术品牌的重要性与开源对技术进化的加速作用,于2025年开源MiniMax-01系列,并坦言若重新选择,创业第一天就会开源[54][56] 产品哲学与市场策略 - **产品逻辑**:不认同“在黑莓手机上做不出抖音”的观点,认为产品发展也是渐进的,需要通过不断尝试和失败来找到成功形态[16][17] - **多产品矩阵**:同时运营Glow、星野、海螺AI等多款产品,认为在技术与产品存在gap的阶段,多尝试是找到成功产品的客观规律[16] - **关键教训**:产品价值的核心来源是模型性能与算法能力,例如Glow曾因一个小算法bug导致DAU在元旦三天内下降40%,修复后用户量迅速回升[18] - **差异化竞争**:避免与字节“豆包”等大厂在生产力工具上正面竞争,转而寻找巨头战场之外的空隙,例如在AI社区(星野)和视频生成(海螺视频)领域建立优势[89][96][97] 行业观点与竞争格局 - **批判行业误区**:指出中国AI产业存在“用户越多,模型能力提升越快”的巨大误区,并以ChatGPT DAU是Claude的50-100倍但模型能力并未等比提升为例证[57] - **竞争本质**:认为靠融资无法打死竞争对手,拐点只可能来自技术、产品或商业化效率的领先;创业公司之间比较意义不大,应关注整个行业[37][62] - **中美模型差异**:认为中国模型缺乏内部定义的benchmark和底层设计,更多是在对齐如o1等国外模型的输出[84] - **组织与人才**:认为人才密度最高的是字节跳动,其他公司都差一档;但创业公司能让优秀人才成长更快的概率更大[86][87];公司组织结构简单,仅三层,分为技术、产品、运营与增长三个部门[43][44]
KAN作者刘子鸣:AI还没等到它的「牛顿」
机器之心· 2026-01-02 13:00
AI研究范式与现状 - 行业当前处于AI研究的“第谷时代”,即拥有海量实验数据和强大模型,但缺乏对底层现象的系统性梳理与理论总结[1] - 行业为追求短期性能指标而跳过了“理解”这一关键步骤,正在积累高昂的“认知债务”[3][8] - 即便在“观察”层面,行业目前也极其原始,大多仅关注少数几个基于性能的指标调优[8] 学术发表机制的制约 - 当前学术发表机制偏爱“完美的故事”或“巨大的性能提升”,导致大量碎片化但极具价值的“AI现象学”工作被忽视[5] - 明星数据科学家Jeremy Howard指出,“实验性观察”几乎无法在AI/ML期刊和会议上发表,这阻碍了领域发展[6] - 能够被包装成“故事”的现象极其稀少,许多有趣的现象因无法整理成论文而被随意丢弃[14] AI现象学发展的困境 - 可发表的工作通常只有两类:在性能上有显著提升的工作,或拥有一个足够吸引人的“故事”[12] - 所谓“好故事”通常需要满足普适性或惊奇性,这两类要求都极高,抑制了现象学的发展[13][15] - 行业对“AI物理学”现象学提出了过高的期望,但其本身仍处于非常早期的阶段[9][13] 倡导的新研究范式 - 呼吁建立一种“平易近人的现象学”,不以即时应用为导向,回归用玩具模型进行可控、多视角的假设驱动探索[5][21] - 该方法强调可控性、多视角刻画以及好奇心或假设驱动的探索,定性结果已足够,定量结果更好[21] - 这种“可接近的现象学”对于社区建设具有极高价值,能促进不同研究者之间的观察联系、理论统一与算法改进[17] 个人与社区的行动计划 - 作者宣布将通过博客分享“半成品”的实验笔记,以记录观察、吸引志同道合者,并为课程准备材料[5][19][22] - 计划在清华大学开设一门《Physics of AI》课程,相关博客文章及配套代码可能成为课程材料[5][22] - 建议研究者从自己真正关心的问题开始,定义简单的玩具模型,并致力于彻底理解该模型[20][22]
OpenAI,65倍,8300亿美元
格隆汇· 2025-12-20 19:39
核心观点 - OpenAI计划进行新一轮1000亿美元融资,若成功其估值将飙升至8300亿美元,较两天前的5000亿美元估值大幅提升[1] - 公司估值基于其技术护城河、爆发式增长的变现能力、对通用人工智能的长期预期以及巨额资本开支需求,呈现典型的“买未来”逻辑[3][7][11][12] 估值与财务表现 - 按8300亿美元估值和2025年预计127亿美元营收计算,公司市销率高达65倍[2][3] - 2024年公司营收为37亿美元,预计2025年营收将达127亿美元,同比增长243%[6] - 乐观预计到2029年公司营收将达到1000亿美元,凯基亚洲预测2030年营收可能达到2000亿美元[7][8] - 若以2029年1000亿美元营收预期为基准,8300亿美元估值对应的市销率仅为8.3倍[9] - 公司预计2026年将亏损140亿美元,2023-2028年累计亏损可能高达440亿美元[23] 技术优势与护城河 - GPT-5采用自适应多模型系统,通过双轨设计和实时路由器,将算力浪费降低了40%[3] - GPT-5的输入token价格比GPT-4o降低了50%,结合折扣缓存机制使B端API调用成本减半,推动Codex代码模型使用量在两个月内暴涨10倍[3] - 正在研发的“递归自改进”技术旨在让模型自主优化升级,无需人类标注即可迭代[3] - 巴克莱银行测算,“递归自改进”技术落地后,GPT-6的训练效率将提升10倍[3] 收入构成与增长动力 - **C端订阅**:8.1亿月活用户中,5%的付费率贡献了近80亿美元收入,付费率有望继续上升[7] - 印度市场有7300万免费日活用户,若后期10%转化为付费用户,年营收可再增加17.5亿美元[7] - **B端服务**:拥有100万家企业客户、700万个商业席位,同比增长9倍[7] - 企业版定价已从2万美元/年飙升至20万美元/年,仍供不应求[7] - **生态抽成**:通过ChatGPT即时结账功能抽取1%-3%佣金,预计2026-2030年仅免费用户带来的商业抽成就能达1100亿美元[7] 资本需求与支出规划 - 新一轮融资目标为1000亿美元,其中430亿美元(占43%)将作为“递归自改进”技术的专项基金[3][14] - 训练前沿模型的成本已飙升至数十亿甚至上百亿美元级别[13] - GPT-6的算力需求是GPT-5的5倍,需要至少12.5万个H200 GPU,硬件成本高达50亿美元[14] - Sora 3视频模型的训练数据量计划从1000万小时增至1亿小时,数据采购成本至少80亿美元[14] - 计划投入近1000亿美元自建数据中心,打造“AI超级工厂”,目标在2030年实现算力自给自足[16] - 自建数据中心预计能将PUE值压到1.1以下,比向云厂商采购节省30%成本[16] - 巴克莱测算,OpenAI 2024-2030年算力总支出将超过4500亿美元,2028年峰值达1100亿美元[16] - 未来可能效仿AWS出租算力,按2030年全球算力需求测算,该业务能新增500亿美元营收[16] 人才竞争与激励 - 谷歌给AI研究员的年薪达150万美元,比OpenAI高25%[21] - 公司计划砸200亿美元用于股票薪酬,为核心工程师补发股票以弥补限制性股票单位兑现价较估值倒挂30%的差额[21] - 为新挖来的DeepMind前研究员提供高达1000万美元的签字费[21] - 按计划到2030年,员工持股总价值将达500亿美元[21] 投资者与战略考量 - 传闻软银承诺投资300亿美元,甚至不惜卖掉英伟达股票来筹钱[25] - 中东石油资本(如阿联酋MGX)也在寻求投资,将其视为对未来科技话语权的布局[25] - 微软已拥有OpenAI 49%的利润分红权,此次融资可能也是公司管理层进行“去微软化”博弈、引入更多巨头以稀释微软控制权的举措[26]
AI 价值链-Google Gemini 3 Pro、Claude Opus 4.5、Grok 4.1 与 DeepSeek 3.2…… 谁才是真正的领导者?这意味着什么
2025-12-12 10:19
涉及的行业与公司 * **行业**:人工智能(AI)行业,特别是大型语言模型(LLM)领域、AI基础设施与半导体行业 [1] * **公司**: * **AI模型开发商**:Google(Gemini)、Anthropic(Claude)、xAI(Grok)、OpenAI(GPT)、Meta、DeepSeek [2][3][6] * **半导体与基础设施供应商**:NVIDIA(NVDA)、Advanced Micro Devices(AMD)、Broadcom(AVGO) [7][10] * **云服务与互联网平台**:Amazon(AMZN)、Alphabet(GOOGL)、Meta Platforms(META) [9][11][12] 核心观点与论据 * **近期模型性能评估**:Gemini 3 Pro 与 Claude Opus 4.5 在第三方基准测试中表现不相上下,而 DeepSeek v3.2 的领导地位声明受到更多质疑,因其基准测试排除了 Claude Opus 4.5 且在某些代理任务上承认落后 [3][14][16] * **缩放定律依然有效**:预训练和后训练的缩放定律显然并未失效,这增强了AI实验室及其资金支持者快速建设AI基础设施的信心 [4][15] * **OpenAI面临挑战**:OpenAI已从明显领先者地位滑落,可能已不在前三,原因包括GPT-5表现令人失望、连续三次预训练失败、关键人才大量流失以及管理层发出“红色警报” [6][18] * **计算稀缺是核心主题**:尽管新模型未使用 Blackwell GPU 且部分使用ASIC/TPU训练引发对NVIDIA护城河的担忧,但当前核心主题是计算稀缺,GPU和ASIC都将因此受益 [7][20][22] * **范式向产品化与货币化转移**:长期来看,行业范式可能从模型基准测试转向产品采用和货币化,Gemini 3 虽性能领先但未能取代 ChatGPT 在应用商店的榜首位置即是例证 [8][22] * **投资影响**: * **NVIDIA(NVDA)**:数据中心机会巨大且仍处早期,近期股价停滞反应过度,当前估值具有吸引力 [10][22] * **Broadcom(AVGO)**:强劲的2025年AI发展轨迹预计将在2026年加速 [10] * **AMD(MP)**:AI预期仍高,但与OpenAI的新交易有望推动进一步增长 [10] * **Amazon(AMZN)**:随着大量产能上线、Tranium 3 推出及企业级AI产品简化,AWS增长预计将加速 [11] * **Alphabet(GOOGL)**:Gemini 3 的发布和TPU叙事支撑了其强劲走势,但需关注从纯模型性能向产品采用的转变 [11][22] * **Meta(META)**:被认为是最有能力将AI货币化的公司之一,需平衡盈利增长与AI模型前沿进展 [12] 其他重要细节 * **模型发布与参数**:过去三周内发布了 Grok 4.1、Gemini 3 Pro、Claude Opus 4.5 和 DeepSeek v3.2 四款模型,DeepSeek v3.2 披露总参数量为 6850亿,每令牌激活约 370亿 参数 [2][16] * **基准测试数据**: * LLM Arena 总体排名显示 Gemini 3 Pro 第一,Grok 4.1-thinking 第二,Claude Opus 4.5 第三 [36] * Google 披露的基准测试中,Gemini 3 Pro 在多项测试领先,例如 Humanity's Last Exam(45.8%)、AIME 2025(100%)、Vending-Bench 2(平均净值 5,478.16 美元) [24] * **基础设施成本分析**: * 一个 GB200 / NVL 72 机架的物料成本(BOM)约为 341.3万美元,其中 GPU(含设计毛利)占比 38.8% [38] * 支持 1吉瓦(GW)数据中心容量的总资本支出约为 35.2亿美元,其中机架成本占 20.2亿美元 [39] * **估值与目标价**: * NVIDIA(NVDA):目标价 275美元,基于约 33倍 的 FY27/FY28 平均非GAAP每股收益预期 8.43美元 [43] * AMD(AMD):目标价 200美元,基于约 30倍 的 FY2026/27 平均非GAAP每股收益预期 6.95美元 [44] * Broadcom(AVGO):目标价 400美元,基于约 35倍 的 FY2026/27 平均备考每股收益预期 11.38美元 [45] * Amazon(AMZN):目标价 300美元,采用 SOTP 和 DCF 各占 50% 的估值方法 [46] * Alphabet(GOOGL):目标价 305美元,采用 2027年 EV/EBIT 倍数(23倍)和 DCF 各占 50% 的估值方法 [47] * Meta(META):目标价 870美元,采用 2027年 EV/Sales 倍数(8倍)和 DCF 各占 50% 的估值方法 [48]
对话AI“老炮”邹阳:AGI不是你该关心的,现在的技术足够改变世界
36氪· 2025-12-09 20:28
文章核心观点 - 当前AI技术发展已进入边际效益递减阶段,短期内难以复现类似GPT-4的阶跃式突破,行业焦点应从追求通用人工智能(AGI)转向现有技术的规模化商业应用[8][13][18] - AI最大的价值在于将企业内80%-90%重复、高频、规则化的“照章办事”型脑力工作自动化,通过构建“数字专家”潜入产业流程,实现降本增效[9][29][32] - 技术落地的关键并非模型本身的持续突破,而在于具备将行业知识结构化、并利用现有模型能力嵌入业务流程的工程应用型人才[33][34][35] 对AI技术发展现状与趋势的判断 - 技术演进进入平台期:GPT-4代表了基于Transformer架构的一次革命性飞跃,但此后模型能力的提升进入边际递减阶段,新模型在真实业务场景中仅带来几个百分点的提升,行业工作转向工程化优化[13][14][15] - 资本投入的边际效用下降:下一次AI范式突破属于极少数顶尖科学家团队,依赖正确的问题和新的方法,而非无限堆砌资本和算力[17] - Scaling Laws可能已结束:这意味着资源分配应转向将现有技术嵌入业务、做工程化闭环,同时模型能力增量的稳定化反而为应用落地带来了更明确的窗口期[18] AI商业化落地的路径与机会 - 落地重心在于产业流程:真正的战场不是聊天机器人,而是潜入电力、能源、制造等重行业,替代企业内80%重复、高频、规则与判断聚合的脑力工作[5][9] - 核心价值是“隐性经验”的结构化复制:通过访谈专家、解读过程文档,将老师傅等一线人员的经验逻辑转化为大模型可理解的结构化知识,构建可规模复制的“数字专家”系统[25][27][32] - 应用场景广泛且可规模化:以电网故障研判为例,一个变压器可能有100个场景,一个变电站可能有1000个,国家电网有约十万一线检测员工,类似场景在各行业大量存在,且解决方案的边际复制成本趋近于零[29][32] 对行业生态与参与者的影响 - 人才需求转变:最稀缺的是既懂业务又理解模型能力边界的工程应用型人才,而非纯算法工程师,这类人才能将AI能力嵌入任务流程[33][35] - To B生态可能重塑:大型企业可能内化大部分外部开发能力,未来能存活的服务商主要是掌握行业Know-how或有数据积累的公司[37][38] - 垂直Agent存在价值:垂直大模型性价比低,但垂直Agent作为“最后一公里”的解决方案,通过将碎片化行业规则转化为可调用的指令流程而具有商业价值[39] 中美AI发展路径的差异 - 中国路径:受算力限制(如某大厂仅5000张卡),且更务实强调系统性落地,将AI深入生产核心环节(排产、工艺、供应链),国企愿意为长期效率进行前期投入[41][43][45] - 美国路径:自下而上,聚焦于法律、财务等边界清晰、易验证和变现的商业场景工具化产品[44] - 结果差异:中国公司选择深入产业现场解决具体问题以沉淀通用能力,而美国公司更多走向快速变现的产品[45]
Ilya辟谣Scaling Law终结论
AI前线· 2025-11-30 13:33
AI发展范式转变 - 单纯依靠算力规模扩张的"大力出奇迹"时代可能已经结束,即使资源增加100倍也未必能带来AI能力的质变[2] - AI发展正从"规模扩张时代"重新回到"研究驱动的时代",但这次研究建立在前期积累的超大算力基础之上[16][42][45] - 当前AI进展的瓶颈已从"算力"转向"想法本身",行业内公司数量远多于真正新颖的思路[16][60] 当前AI模型的局限性 - 现有大模型出现明显断层:在基准测试中成绩惊人,但在简单真实任务中经常翻车,智能表现脆弱[16][17] - 模型泛化能力远逊于人类,既体现在需要海量数据、样本效率极低,也体现在教授复杂任务非常困难[16][47] - 强化学习可能让模型变得过于单一目标驱动,过度聚焦评测分数反而削弱了向真实应用场景泛化的能力[16][19] 未来AI发展方向 - 实现通用人工智能可能还需要更多突破,持续学习和样本效率是常被提及的两个方向[5] - 价值函数被认为是重要发展方向,能让AI更高效地学习,预计未来会广泛应用[37][46] - 人类学习机制为AI发展提供重要启示,人类拥有强大的内部价值函数和鲁棒的学习机制[55][56] AI经济影响与部署策略 - 即使没有进一步研究突破,当前技术范式也足以产生巨大的经济和社会影响[5] - 最强大的AI部署关键在于能够把在整个经济体系中各个实例的学习结果合并起来,这种集体知识汇聚可能触发智能爆炸[16][81] - AI部署应该采用渐进式方式,让社会逐步接触和适应,而不是一次性推出完全成熟的超级智能[72][73][85] 行业竞争格局 - 行业内专家共识远多于分歧,普遍认为通用人工智能大概率会在20年内实现,而非需要100多年[5][111] - 当前AI行业公司数量多于真正新颖的思路,竞争格局呈现同质化趋势[60][113] - 随着AI能力提升,不同公司可能会在技术路径和对齐策略上逐渐收敛[115][116] 研究资源分配 - 用于研究的算力需求相对可控,AlexNet仅用2块GPU,Transformer初期实验使用8-64块GPU[61] - 大公司算力被分割到不同模态和产品线,真正用于纯研究的算力差距并不像表面数字那么大[63][66] - 研究时代需要的是思维多样性而非简单算力堆砌,思维多样性比同质化复制更重要[124]
Nvidia says its GPUs are a 'generation ahead' of Google's AI chips
CNBC· 2025-11-26 02:29
公司市场地位与竞争回应 - 公司声称其技术领先行业一代 是唯一能在所有计算设备上运行所有AI模型的平台 [1][2] - 公司回应华尔街对其AI基础设施主导地位可能受到威胁的担忧 强调其技术领先优势 [1] - 公司在人工智能芯片市场占据超过90%的份额 [4] 产品技术优势 - 公司芯片相比ASIC芯片(如谷歌TPU)更具灵活性 功能更强大 [3] - 公司最新一代芯片名为Blackwell 提供比ASIC更优的性能 多功能性和可替代性 [3] - 公司指出Blackwell芯片价格昂贵但性能强大 [4] 客户关系与市场动态 - 公司继续向谷歌供应芯片 谷歌仍是其客户 [1][5] - 关键客户Meta可能与谷歌达成协议 在其数据中心使用谷歌TPU 此报道导致公司股价下跌3% [2] - 谷歌不向其他公司出售TPU芯片 但通过谷歌云提供服务供企业租用 [4] 行业趋势与需求前景 - 行业理论认为使用更多芯片和数据将创造更强大的AI模型 即“缩放定律” [6] - 公司认为“缩放定律”将导致对其芯片和系统的需求进一步增长 [6] - 谷歌最新AI模型Gemini 3基于其TPU训练 但该模型也能在公司技术上运行 [5]
Janus Henderson's Denny Fish on AI: We'll continue to see models ‘leapfrogging each other'
Youtube· 2025-11-26 02:23
人工智能行业竞争格局 - 人工智能领域被视为一场“冲向技术前沿”的竞赛,参与者包括谷歌、Meta、Anthropic、OpenAI/微软等公司,它们都在追逐通用人工智能这一目标[2] - 行业预期模型将持续相互超越,例如GPT、Gemini、Claude、XAI等模型的迭代过程,这种“蛙跳”式发展被认为是健康竞争态势[2] - 若模型停止相互超越,则意味着扩展定律开始减弱,通过增加算力解决训练问题的能力下降,这将导致对基础设施的需求放缓,但目前未见此迹象[4] 行业需求与扩展定律 - 英伟达的财报和Gemini 3的表现证实扩展定律依然稳固,行业仍处于GPU/TPU等加速器需求的激增阶段[2] - 当前阶段主要集中在模型训练期,尚未到达推理需求曲线的陡增部分[2] - 超大规模云计算公司持续提高资本支出预期,支撑了基础设施建设的长期前景[6] 基础设施建设限制因素 - 数据中心建设速度受到物理限制,包括建设审批流程和电力供应问题,这与互联网泡沫时期可快速铺设光纤或建立信号塔的情况截然不同[6] - 昂贵的GPU/TPU等短生命周期资产只有在数据中心外壳建成、电力就绪后才会部署,因其持有成本极高[6] - 目前仍处于将GPU等资产部署到数据中心的早期阶段,从台积电晶圆厂下线的每一块GPU都供不应求[6] 市场短期波动 - 基础设施相关投资主题已强势运行较长时间,市场出现阶段性调整或休整属于正常现象[5][6] - 市场有时会超前反应,但近期并无迹象改变对基础设施建设方向的预期[6]
Amazon, Meta, Microsoft, and Google are gambling $320 billion on AI infrastructure. The payoff isn't there yet
Business Insider· 2025-10-07 16:20
AI基础设施投资规模 - 美国政府将AI基础设施建设列为优先事项,提出“建设、建设、再建设”的口号 [1] - Meta公司预计到2028年将在AI基础设施上投入6000亿美元 [1] - OpenAI与Oracle宣布名为Stargate的数据中心项目计划投入5000亿美元 [1] - 亚马逊计划在接下来两个季度每季度资本支出超过300亿美元 [1] - 亚马逊、Meta、微软和谷歌四家公司2024年资本支出预计达3200亿美元,超过芬兰GDP,接近埃克森美孚2024年总营收 [4] - 今年AI基础设施和软件支出对GDP增长的贡献已超过消费者支出 [8] 数据中心建设现状 - 截至2024年底,美国已建成或获批建设的数据中心达1240个,自2010年以来增长近四倍 [3] - 当前建设热潮被比作阿波罗太空计划、20世纪中叶的州际公路系统以及本世纪初的光纤泡沫 [9] - OpenAI首席财务官Sarah Friar将AI建设比作19世纪铁路系统建设的早期阶段 [9][10] 投资背后的理论依据与争议 - AI基础设施繁荣基于一个核心理论:模型通过处理更多数据来提升性能,这需要巨大算力支持 [16][17] - OpenAI首席执行官Sam Altman认为,如果算力不受限,AI可治愈癌症或为每个学生提供个性化辅导 [18] - 纽约大学名誉教授Gary Marcus质疑“规模越大越好”的策略,认为驱动大公司建设算力的扩展定律是错误的 [18] - GPT-5的发布被许多观察者视为渐进式改进,对“更多算力等于更好模型”的观点构成挑战 [20] - 领先的语言模型仍会出现简单错误或幻觉,影响其可靠性,即使公司投入了指数级增长的算力进行训练 [20] AI商业回报与行业挑战 - AI的商业案例尚未得到验证,其产品收入是否能证明不断增长的支出尚不明确 [2] - 贝恩公司估计,到2030年,年资本支出需达5000亿美元才能满足行业计算需求,为此公司需产生2万亿美元年收入 [23] - 贝恩公司指出,除非能找到新的产品或服务出售,否则行业将面临资金短缺,因为通过AI提升销售、营销、客户支持和研发效率所能节省的资金约为8000亿美元,仍不足以弥补缺口 [23] - 麻省理工学院研究报告显示,95%的早期企业AI计划尚未产生回报 [21] - 研究人员创造“workslop”一词描述低质量的AI辅助产出,40%的受访员工(样本量1150人)在过去一个月内收到过同事产生的此类产出 [22] - OpenAI2024年收入预计将增长两倍至约130亿美元,但其同意每年向Oracle支付约600亿美元的数据中心容量费用,近乎其预期收入的五倍 [24] 融资渠道与风险集中 - 数据中心建设和GPU采购由华尔街提供资金 [32] - Oracle近期出售180亿美元债券为其数据中心扩张计划融资 [32] - 数据中心初创公司CoreWeave自去年以来已从公开债务和股权市场融资约250亿美元 [32] - 公司日益转向非传统贷款机构,Meta从太平洋投资管理公司等机构为其最新数据中心项目筹集290亿美元,此类交易允许公司筹集巨额资金而无需在资产负债表上全额报告 [33] - 数据中心开发商利用证券化债券市场,将租赁收入打包成债券出售给投资者,从而为新一轮建设释放资金 [34] - 硅谷内部也在助力融资热潮,英伟达同意向OpenAI投资1000亿美元助其建设数据中心,预计OpenAI将用这笔资金购买英伟达GPU [35] - 芯片制造商AMD宣布,OpenAI同意购买其GPU以支持高达6吉瓦的计算能力,作为回报,若达到特定里程碑,OpenAI将获得AMD 10%的股权 [35] - 资金的循环流动是AI基础设施赌注的另一个要素,既凸显其规模,也放大其风险 [36] 历史比较与潜在后果 - 若投资成功,数据中心投入的资金将显得微不足道,数据中心繁荣将成为下一个技术周期的基础,AI代理和定制模型可能构成稳定、高利润率订阅产品的基础 [14] - 若投资失败,可能引发经济重塑,从股市崩盘到社区留下巨大空置数据中心 [2] - 过度投资可能引发类似19世纪下半叶铁路过度投资(包括横贯大陆铁路)所引发的银行业危机,当时行业因过度支出而挣扎,最终给投资者和支持他们的银行带来沉重损失 [15] - 类似模式在25年前互联网兴起时出现,WorldCom等公司在1997年至2001年间耗资数百亿美元铺设光纤电缆,随后在2002年互联网泡沫破灭时崩溃 [30] - 布鲁金斯学会分析显示,领导光纤建设的公司股东损失了2万亿美元市值,50万工人失业 [31] - 麦肯锡公司指出行业面临两难境地:投资过少可能错失历史上最具变革性的技术,投资过多则可能浪费数百亿美元 [28] - Meta首席执行官马克·扎克伯格坦言已准备好浪费数千亿美元以赢得AI军备竞赛,并认为错失AI应用普及的风险更高 [29]
CUDA内核之神、全球最强GPU程序员?OpenAI的这位幕后大神是谁
机器之心· 2025-10-01 07:49
文章核心观点 - 文章聚焦于OpenAI资深工程师Scott Gray,强调其在AI模型底层性能优化方面的关键作用,其编写的CUDA Kernel支撑了公司每日数万亿次的计算量 [1][2][3] - 文章指出,编写高性能模型训练CUDA Kernel需要同时精通并行计算、GPU硬件架构和深度学习算法,此类顶尖人才极为稀缺 [7] - Scott Gray的职业轨迹展示了通过深入硬件底层优化,个体工程师也能创造出超越行业巨头(如NVIDIA官方库)的性能,并对AI模型的规模化发展产生决定性影响 [7][21][22] Scott Gray的技术专长与成就 - 核心技术能力在于绕过标准软件抽象层,直接编写底层SASS机器码,以实现对硬件资源的绝对控制和性能突破 [15][16][17][18] - 在Nervana Systems期间,开发了针对NVIDIA Maxwell架构的汇编器maxas,并手写SGEMM内核,在GM204 GPU上实现98%的硬件理论峰值效率,性能比NVIDIA cuBLAS库快4.8% [19][20] - 开发maxDNN卷积库,在AlexNet卷积层上实现93-95%的计算效率,显著高于cuDNN库32%至57%的效率,在Overfeat模型某卷积层效率达96.3%峰值 [21] 在OpenAI的贡献与战略转变 - 加入OpenAI后工作重心从“优化者”转变为“使能者”,专注于为更高效的稀疏模型架构开发底层工具,是将Scaling Laws理论转化为工程现实的关键人物 [22] - 作为核心技术人员,其名字出现在GPT-3、GPT-4、Codex和DALL-E等里程碑式论文中,编写的高性能GPU内核支撑了这些模型万亿次级别的训练和推理 [22] - 为解决稠密模型规模化难题,共同开发了创新的块稀疏GPU内核,其运行速度比处理稠密矩阵的cuBLAS或通用稀疏矩阵的cuSPARSE快几个数量级,使参数量远超以往的模型成为可能 [24][25][26] - OpenAI开源了这些高性能块稀疏内核,旨在推动整个社区在模型和算法设计上的创新 [27][29]