Scaling law

搜索文档
深聊GPT-5发布:过度营销的反噬与AI技术突破的困局
虎嗅· 2025-08-12 17:05
GPT-5技术评估 - GPT-5未实现颠覆性技术突破,Transformer架构的弱点进一步暴露,包括PPT图表错误、代码bug和理论解释问题[1] - 模型开发遭遇技术瓶颈,最终选择改良架构而非革命性方案,Scaling law面临碰壁[1] - 技术路径上人类仍需寻找突破AI发展瓶颈的新方法[1] 商业化战略 - OpenAI采取激进商业化策略,重点布局教育、健康医疗和编程三大应用场景[1] - 公司通过快速场景落地来稳固市场地位,GPT-5被定位为"合格的AI产品"而非颠覆性创新[1] 行业影响 - GPT-5发布引发对AI泡沫破灭的讨论,行业面临技术创新放缓的质疑[1] - 当前AI发展进入平台期,技术突破速度低于市场预期[1]
Token推动计算Compute需求:非线形增长
华泰证券· 2025-07-17 18:46
报告行业投资评级 - 科技行业评级为增持(维持),计算机行业评级为增持(维持) [6] 报告的核心观点 - 未来算力需求中存在Token调用量随推理扩展倍数增长、算力需求随Token增长倍数增长两个倍数关系,共同决定推理端未来算力需求广阔,目前市场存在较大预期差,长期看好算力需求持续快速增长 [89][90] 根据相关目录分别进行总结 New Scaling:不止于预训练,三条Scaling推动算力需求增长 - 市场认为预训练Scaling law可能见顶,但考虑后训练Scaling和推理Scaling,AI对算力需求仍有大量空间 [10] 从三条Scaling law的差异看为什么算力需求将继续增长 - 预训练和后训练Scaling属训练阶段,推理Scaling属推理阶段 [11] - 预训练Scaling性能和数据、参数量相关,后训练Scaling利用微调等技术提高模型能力和领域特异性,推理Scaling性能与推理时间相关 [13] 推理Scaling的必要性和算力消耗量化 - 推理Scaling能大幅提高模型回答困难问题能力,是通往Agentic AI的重要路径 [15] - 预训练受训练数据约束,推理Scaling能提高模型性能,特别是困难问题方面 [15] - 推理模型的Token消耗可能是传统模型的10倍左右 [18] Grok系列模型的发展对应了三条Scaling曲线 - Grok系列模型发展历程对应三条Scaling曲线,Grok 3对应预训练阶段的Scaling law,Grok 4对应后训练与推理过程的Scaling law [19] - Grok 4在HLE测评集上的突破证明了推理Scaling的有效性 [22] 从Deep Research看Agentic对Token量的影响 - Deep Research是“Agentic化”的AI Search,以其为研究Agentic AI的抓手,分析Token量变化并拓展到广泛Agentic AI场景进行量化 [28] - Agentic AI与狭义AI Agent存在差异,前者涉及多流程多工具调用,任务更复杂 [32] Deep Research是研究Agentic AI的重要抓手之一 - AI Search成为Token消耗的重要组成,Google Token量增长可能源于搜索业务 [34] - Deep Research产品是AI Search的Agent路径拓展,被多家厂商竞相推出 [37] Deep Research的Token多在哪?基于底层系统设计视角的分析 - 以Anthropic的Deep Research系统设计为例,其将任务分配给多个Agent,带来成倍Token消耗 [41] - 搜索过程是迭代式的,Token量进一步增加 [44] 从Search到Research,量化Agentic的Token影响 - Anthropic Deep Research的Token消耗达到聊天的15倍 [46] - Google/OpenAI Deep Research的Token消耗量可能接近聊天的50倍 [50] - Agent使用和多工具调用能进一步提升Grok 4在HLE测试中的结果 [55] Deep Research在Agentic AI中并不复杂,真实Token量会更高 - Deep Research任务相对简单,普遍的Agentic AI会有更高Token消耗量,未来Token量增长可能是指数增长 [57][58] Token量的增长会带来算力需求的非线性增长 - 算力需求增长远高于Token量的增长,Token量增长10倍,所需算力量可能增长百倍 [60] 延迟和吞吐量是推理过程中两个重要指标 - 延迟和吞吐量是推理过程的关键指标,相互关联,分别决定用户使用体验和厂商总任务处理量 [61] 为什么延迟和吞吐量互相制约?中间变量——批处理 - 为提升吞吐量需进行批处理,延迟随批量大小线性增长,吞吐量随批量增长先增后缓,两者相互制约 [68] 模型厂商的帕累托最优需要追求“量价”的平衡 - 模型/AI应用厂商需追求用户使用量与AI服务质量之间的平衡,实现收益最大化 [74] 增加硬件是实现模型最优收益边界前移的重要方式 - 增加硬件可减少模型服务延迟,实现模型最优收益边界前移,算力需求增长与Token增长呈倍数关系 [81][82] 总结:两个倍数关系决定未来推理算力需求空间广阔 - 未来算力需求中Token调用量随推理扩展倍数增长,算力需求随Token增长倍数增长,决定推理端未来算力需求广阔 [89] 产业链相关公司 - 海外算力链涉及PCB、铜互联、光模块光器件光芯片相关公司,国内算力链涉及中芯国际、寒武纪等公司 [92]
肖仰华教授:具身智能距离“涌现”还有多远?|Al&Society百人百问
腾讯研究院· 2025-06-27 14:59
生成式AI与具身智能的发展路径 - 生成式AI以AIGC为代表,目标是让机器具备人类大脑的认知能力,包括语言生成和逻辑思考能力 [9] - 具身智能目标是让机器习得人类身体的感知和行动能力,实现与复杂世界的高效交互 [10] - 两条技术路线都是通往AGI的关键形态,下一个重要里程碑是身心协同阶段 [10] - 生成式AI已实现生产力成百上千倍提升,如合同审校、绘画制作等工作效率大幅提高 [13] - 具身智能对生产力的提升作用相对有限,可能仅相当于人口增长1-2倍的效果 [15] 技术革命的三重标准 - 基础性:技术需像水电煤一样成为基础设施 [13] - 生产力提升:需实现指数级效率提升,如AIGC极大提高论文生产力 [13] - 社会影响:需深度渗透社会各领域,改变上层建筑 [14] - 生成式AI完全符合这三重标准,是一场真正的技术革命 [14] - 具身智能对社会的影响力相对有限,更多是认知智能突破后的技术延伸 [16] 数据与模型的关系演进 - 业界观点:模型算法决定效果下限,数据决定上限 [20] - 大模型研发70-80%成本投入在数据上,剩余在算力运维和算法设计 [21] - 数据墙问题凸显:互联网公开高质量数据已接近枯竭 [22] - 后训练范式崛起:数据规模让位于质量,算力规模让位于算法设计 [18] - 数据不足可通过知识注入缓解,但培育高质量数据集仍是根本 [23] 具身智能的数据挑战 - 当前具身模型训练数据量仅百亿token级,与语言模型万亿级相差两个数量级 [24] - 数据采集面临个体体验表达困难和环境建模复杂双重挑战 [34][35] - 真机数据成本高昂,仿真数据质量有限,制约GPT时刻到来 [25] - 可能解决方案:穿戴设备普及形成动作轨迹数据 [26] - 训练策略调整:数据量不足时可增加训练量,借鉴人类泛化机制 [36][38] 产业落地逻辑 - 行业AI落地的关键在于行业数据治理和清洗 [21] - 央国企等大甲方应重点投入行业数据准备而非模型研究 [22] - 具身机器人应走场景化、任务化路径,而非追求绝对通用性 [48] - 身体构造决定功能边界,集约化需考虑物理可行性 [49] - 专用机器人价值明确,通用机器人是伪命题 [48] 技术范式演进 - 仍未跳出符号主义、连接主义和行为主义三大传统范式 [39] - 连接主义:模拟神经网络,处理感知任务 [40] - 符号主义:基于知识推理,处理认知任务 [40] - 行为主义:通过交互反馈进化,处理技能习得 [41] - 三种范式在完整AI解决方案中各有侧重 [43] 理性思维发展 - 人类能力分为知性、理性和感性三个维度 [28] - GPT4前主要训练知性能力,O1和DeepSeek R1开启理性能力 [29] - ToB应用需要专业理性思维,ToC需要共情感性能力 [31] - OpenAI布局完整:知性(GPT4)、感性(GPT-4o)、理性(O1) [31] - 国产大模型与国际差距主要在理性能力即知识应用水平 [29]
清华天才杨植麟的“理想国”,为何败给梁文锋?
凤凰网财经· 2025-05-28 20:51
核心观点 - 文章探讨了90后AI创业者杨植麟及其公司月之暗面在AI2 0时代的创业历程 并与85后创业者梁文锋的DeepSeek进行对比 分析两者在技术路线 商业模式和市场竞争中的差异 [6][10][13][18][24][25][27][28][29] 杨植麟的背景与创业历程 - 杨植麟是90后AI创业者 拥有卡耐基梅隆大学博士学位 师从苹果AI负责人和谷歌首席科学家 博士期间发表Transformer-XL和XLNet两篇里程碑论文 引用量超22000次 [9][10] - 2023年创立月之暗面 主攻AGI领域 公司名称和会议室命名均源自摇滚乐队平克弗洛伊德 体现其文艺青年特质 [10] - 公司成立初期获得红杉中国 真格基金2亿美元融资 后续获美团 阿里 腾讯等战投 [13] 月之暗面的技术路线与商业化尝试 - 杨植麟坚信Scaling law是模型训练的第一性原理 认为扩大用户数据样本能优化模型性能 2024年3-8月投入1 4亿元广告费 月活从400万增至1282万 [16][17] - 商业化尝试包括:推出付费版本(高峰优先使用权) 上线浏览器插件 发布企业级API 与财新传媒合作 自建内容社区等 [23][24][25] - 产品迭代缓慢 团队规模保持在200人以内 2024年下半年多名算法工程师离职 [18] 与DeepSeek的竞争对比 - DeepSeek成立于2023年7月 创始人梁文锋采取非主流策略 拒绝外部投资 保持技术专注 通过多层股权结构掌握84 3%控制权 [16][25] - 技术路线:开源部分代码吸引开发者 保留核心算法封闭性 形成"开源引流-定制收费"模式 API价格仅为行业1/5 与云厂商深度绑定 [24][25] - 2024年1月DeepSeek R1与Kimi1 5同日发布 DeepSeek R1因推理性能突出引发轰动 下载量一个月破亿 Kimi月活从3600万腰斩至1820万 [18][21][25] 行业格局与未来展望 - AI创业窗口期短 巨头入场后竞争白热化 百度 字节 阿里 腾讯频繁迭代模型 微软 谷歌全面押注Agent [28] - 行业观点认为中国市场最终可能仅剩DeepSeek 阿里 字节三家大模型提供商 [28] - 现有Transformer架构存在幻觉问题 未来可能出现新架构 为90后创业者提供机会 [29]
杨植麟,一个90后理想主义者的悬浮
虎嗅· 2025-05-28 14:01
杨植麟的学术与创业背景 - 杨植麟在卡耐基梅隆大学攻读博士学位期间发表两篇里程碑式论文Transformer-XL和XLNet 论文引用量超22000次 研究成果被Google PaLM Meta LLaMA等主流产品采用 [6][7] - 创立月之暗面主攻AGI领域 公司名称来源于平克弗洛伊德专辑 会议室以摇滚乐队命名 体现其文艺青年特质 [8] - 月之暗面创立初期获红杉中国和真格基金2亿美元融资 后续获美团阿里腾讯小红书等战投 [10] 月之暗面的发展困境 - 2024年陷入股权纠纷和套现舆论漩涡 循环智能股东提起仲裁诉讼要求获得月之暗面股份 影响公司运营 [12][13] - 2024年3-8月Kimi广告投放达1.4亿元 单月最高5000万元 月活从400万升至1282万 但核心人才流失且产品迭代缓慢 [15][17] - 2024年9月OpenAI推出o1系列模型后 Kimi1.5与DeepSeek R1同日发布但反响悬殊 技术路线受质疑 [18][19] 行业竞争格局 - DeepSeek采用开源低价策略 API价格仅为行业1/5 通过云厂商绑定快速占领市场 上线一个月下载量破亿 [27][23] - Kimi月活从2023年11月3600万腰斩至2024年3月1820万 落后于DeepSeek(1.87亿) 豆包(9980万) 腾讯元宝(2358万) [29] - 行业预测中国市场最终可能仅剩DeepSeek 阿里巴巴和字节跳动三家大模型提供商 [33] 商业模式对比 - Kimi尝试ToC付费和ToB API服务 但技术未形成壁垒 商业化效率低 [26][27] - DeepSeek通过"开源引流 定制收费"模式 在金融游戏等领域实现规模化落地 创始人梁文锋被视作商业实用主义者 [28][31] - 杨植麟坚持AGI长期主义 认为AI是未来10-20年改变世界的机遇 但商业化进程缓慢 [8][25] 行业发展趋势 - 2024年百度字节阿里腾讯频繁迭代模型 微软Google全面押注Agent 加剧行业竞争 [32] - 现有Transformer架构存在幻觉问题 未来可能出现新架构颠覆现有技术 为创业者提供新机会 [36] - 90后创业者尚未形成成熟商业打法 杨植麟曾是最接近成为新一代商业领袖的AI创业者 [32]
Tencent says it has enough high-end chips to train AI for 'generations' even if the US cuts it off
Business Insider· 2025-05-15 12:30
腾讯芯片储备与AI战略 - 公司拥有"相当强大的芯片库存"以应对美国芯片销售限制 [1] - 芯片将优先部署于能"产生即时回报"的业务领域如广告业务 [1] - 管理层称当前是"动态局势"正寻求确保AI战略执行的解决方案 [1] 大模型训练技术路径 - 公司认为改进大语言模型性能不再需要大量芯片 [2] - 行业正摆脱依赖训练集群持续扩张的"规模法则" [2] - 较小规模集群亦可获得优质训练效果 [3] - 后训练阶段存在较大优化潜力无需超大集群 [3] 高端芯片库存规划 - 现有高端芯片库存足以支持未来多代模型训练 [3] - 训练效率提升降低了对芯片数量的硬性需求 [3] 美国芯片出口限制影响 - 特朗普政府拟对中国实施新芯片出口许可限制 [4] - 英伟达H20芯片相关库存与采购承诺计提55亿美元 [4] - H20芯片系基于拜登政府限制政策设计 [4] 行业分析师观点 - 新限制不会显著延缓中国AI发展进程 [5] - H20芯片性能已低于中国替代品禁售将利好华为 [5]
2025 大模型“国战”:从百模混战到五强争锋
佩妮Penny的世界· 2025-05-13 18:24
AI 2.0 行业格局演变 - AI 2.0 是近年投资最热赛道 国内AI基座模型公司格局正在快速变化 [1] - 2025年对AI大模型的认识不应停留在"AI六小虎"阶段 行业已进入新竞争态势 [1] AI六小虎资本局 - 六小虎中智谱(2019)和Minimax(2021)成立较早 其余均在2023年上半年ChatGPT爆火后成立 [1] - 不到两年时间 这些公司一级市场估值均超百亿人民币 智谱估值达250亿人民币 [1] - 创始人背景分为三类:行业大佬(李开复 王小川) 资深高管(微软姜大昕 商汤闫俊杰) 技术大牛(唐杰/张鹏 杨植麟) [2] - 几乎所有头部资本都参与投资 部分机构押注2-3家 融资体现创始人信誉和人脉变现 [3] 六小虎现状分化 - 零一万物团队并入阿里云 放弃超级大模型研发 百川智能转向医疗场景 [5] - Minimax和月之暗面探索多模态 开源模型及应用出海 智谱和阶跃星辰成为"AI国家队"代表 [5] - 部分公司面临融资难问题 原因包括高估值 商业模式问题 技术掉队及行业对Scaling law的质疑 [6] Deepseek的行业影响 - 2025年1月Deepseek以开源推理模型黑马姿态全球爆火 重启全球基座模型研究竞赛 [7][9] - 其发展证明模型智能仍有提升空间 推动更多公司开源基座模型并刷新多项Sota记录 [9] - 选择持续深耕语言和推理模型 而非商业化 推动行业智能上限提升 [14] 基座模型竞争格局 - 全球重量级玩家包括OpenAI Google Anthropic Meta XAI五家 [12] - 国内主要玩家为阿里通义 字节Doubao Deepseek 阶跃星辰 智谱五家 [12] - 阿里计划3年投入3800亿 字节年投入超1500亿 巨头通过高薪吸引创业公司人才回流 [12] - 阶跃星辰获上海国投资金 智谱获北京国资支持 两者均走国内上市路线 [15][16] - 智谱已完成股改并提交IPO辅导备案 预计2025年下半年完成 阶跃星辰在多模态领域表现突出 [16] 行业未来趋势 - 多模态输入输出 Agent自动化 垂直场景覆盖成为主要探索方向 [22] - 行业从单纯堆参数转向多维深水区 需容纳巨头和创业公司的多样性发展 [23] - 竞争格局持续动态变化 但中美市场均呈现实力聚拢和格局收敛趋势 [18] - 最终评价标准是愿意持续付费的客户数量及评价 而非营销宣传 [20][21]
独家专访 Tripo CMO,揭秘如何实现 3D 用户破圈增长和多社区联动策略
深思SenseAI· 2024-09-30 11:04
产品与技术能力 - 公司专注于3D大模型研发,核心产品Tripo支持文本和图片输入生成3D模型,例如输入"火烈鸟站在蓝色的球上"或上传帆船图片可快速生成对应3D模型[3][5] - 在图像输入场景中,几何形态还原度达95%以上,尤其擅长家居类标准物品,材质还原方面优化了贴图细腻度和PBR真实感[8][12] - 采用Scaling Law路线,探索高斯泼溅等新型3D表示方法,Tripo 2.0版本将在10月发布重大技术进展[13] 用户画像与商业模式 - 核心用户分为三类:AI科技爱好者、泛互联网/工业设计师、Roblox等内容消费转创作者群体,第三类用户比例自5月起快速增长[20] - 商业模式包括Web订阅、API调用收费(占主要收入)、GMV抽成(如3D打印农场合作)及社区扶持项目[27] - 典型落地场景包括家居行业快速打样闭环、游戏场景生成(如梵高房间3D化),相关研究被SIGGRAPH Asia收录[21] 社区运营与增长策略 - 早期以"8秒生成速度"为卖点吸引技术圈用户,后通过Blender社区举办"小屋杯"比赛吸引5000+创作者,并与ComfyUI社区合作扩展AI+2D用户群[28] - 关键策略包括:通过KOL争议事件获取曝光(如日本艺术家RuiHuang作品引发讨论)、马斯克转发空间站作品、ComfyUI节点开发降低创作门槛[34][37][39] - 针对Roblox青少年用户推出虚拟饰品生成服务,15天内吸引5万用户领取2万份道具,类比"虚拟时尚淘宝店"运营模式[44][46] 全球化与技术品牌建设 - 采取"模型出海"策略,通过开源TripoSR算法与Stability合作,在GDC大会渗透独立游戏开发者圈层,强化技术品牌影响力[49][51] - 举办全球AI 3D渲染大赛"Behind the Scenes"和3D打印国际象棋大赛"The Master Piece",以作品驱动传播[52] - X账号定位"3D与AI领域唯一必关注账号",价值观强调技术开放性与创意包容性[52]