Workflow
Scaling Law
icon
搜索文档
人形与具身智能产业何以叩响“Scaling Law”之门?
机器人大讲堂· 2025-09-24 19:09
2025年,人形机器人行业正站在关键的转型节点,从早期的"主题炒作"逐步迈向"产业趋势投资前期"。华泰证 券近日研报显示,随着特斯拉、Figure等海外龙头及国内企业开启小批量量产, 市场对人形机器人的远期空 间已形成共识,但真正推动行业进入非线性增长的"Scaling Law"(规模法则)时刻 ,仍取决于硬件降本与 机器人大脑智能的双重突破。具身智能作为核心驱动力,正从技术探索走向工程落地,重塑行业技术路线与商 业化路径。 当前人形机器人的核心矛盾并非"能否出货",而是"能否形成可持续的产业飞轮"。2024年底至2025年初, 国内多家本体企业已完成百台至千台交付,但交付场景多集中于科研、教育、展示等ToG领域 ,采购方更多 用于算法研发,本体企业仍扮演"硬件卖铲人"角色,软件层的智能突破尚未显现。华泰证券指出,初期订单 数并非关键信号,行业真正的转折点在于"机器人大脑的Scaling Law时刻":即智能随数据量、模型规模增 长呈非线性提升,进而突破场景泛化能力瓶颈。 ▍ 为何Scaling Law时刻还未出现 从产业卡点看,两大难题亟待解决。硬件端主要体现在成本高、方案未定型。以特斯拉Optimus G ...
百度及AI的前途
36氪· 2025-09-24 18:53
近来百度搜索全面AI化,作为核心业务,内部称大搜,确如百度AI Day上所称,为十年来最大变化。 然而众所周知,搜索的关键字零散,隐约指向用户的问题,而AI预期的Agent模式,能够辅助执行完整的任务,差距不可以道里计,大约不会受 制于搜索框。尽管此次改版扩框,支持长文本和多模态输入,恐怕仍不够激进,是一种过渡状态。 同期百度文库网盘业务发力,虎嗅商业消费组做了采访,《百度暗藏一支1200人的劲旅》,这标题略抽象,仿佛在说司马懿图谋造反。文库的野 望是做"一站式AI创作平台",已经开发内容操作系统和系列创作工具。 或许后者更具想象空间。当下号称自媒体UGC(用户生成内容),仍遵循媒体逻辑,将用户区分为受众和作者,这是因为内容制作仍有一定门槛, 而字节始作俑的算法分发模式,让流量变现闭环。内容生产没有质量,也有数量。若能更进一步,完全消除门槛,且创新分享方式,突出内容本 身的逻辑,超越流量,那不啻于一场内容革命。 AI的序幕刚刚拉开,判断具体业务成败还为时过早,不妨先回顾产业史,确认真问题。互联网连接万物,连接的对象和方式,可分为信息,人与 商品(服务)三类,要满足用户简单的需求,供给端并不简单,构成纷繁的生态 ...
在「外滩大会·具身智能:从泛化到行动,重塑产业未来」上,这些大牛都说了什么?
机器之心· 2025-09-16 16:37
机器之心报道 机器之心编辑部 当大模型几乎能回答所有问题,那 AI 的下一站将在何方?当「数字认知」的潜力被空前释放,我们又如何将其转化为「物理世界」的真实生产力? 随着行业的不断发展,答案正变得越来越清晰:行动,或是智能的终极体现。而实现这一跨越的载体,便是具身智能。 如今,技术已将其推至产业变革的商业化临界点。但我们仍必须回答三个关键问题:需要怎样的颠覆性创新,才能赋予具身智能真正的泛化行动能力?又如何跨 越从「技术可行」到「商业成功」的鸿沟,找到其不可替代的价值锚点?这场由「行动」驱动的革命,又将会把我们带往何方? 或许这一切问题,我们都可以在这里找到答案。 9 月 11 日下午,机器之心联合张江具身智能机器人有限公司共同出品的 2025 Inclusion・外滩大会 「具身智能:从泛化到行动,重塑产业未来」见解论坛在上海隆 重举办。在这场围绕具身智能展开的盛会上,多位来自学界和业界的代表分享了他们在具身智能行业发展的经验和看法。 主题演讲 为了构建沉浸式环境,业界早期尝试基于视觉点云来实现数字孪生,但生成的环境远远达不到沉浸式感知,于是开始构建物理数字系统,让物理学的各种视觉、 触觉等感知过程融入其中 ...
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
36氪· 2025-09-16 15:46
Scaling Law与模型规模扩大的经济价值 - 研究发现虽然单步任务准确率提升幅度减小,但这些微小进步叠加能使模型完成任务长度实现指数级增长,这在现实中更具经济价值 [1][2] - 论文指出模型在现实世界的价值往往源于智能体能够完成任务的长度,从这个角度观察,更大的模型非但没有收益递减,反而能将单步准确率微小提升复合放大,在任务完成长度上实现指数级跃升 [2] - 人类劳动报酬按时间计算,如果智能体经济价值源于能够完成任务时长,那么单轮或短任务基准可能并非评估进一步投资大语言模型计算资源所带来收益的可靠参考 [18] 长程任务执行的挑战与突破 - 长程任务执行一直是深度学习的致命弱点,自动驾驶demo很炫酷但要真正上路跑长途用了十多年才实现,AI能生成惊艳图片但拍一段连贯一致的长视频仍是难题 [4] - 研究通过解耦推理或智能体任务中规划和执行需求来解决问题,规划涉及决定检索什么信息或使用什么工具及顺序,而执行是让规划变成现实 [6] - 实验证实即使去除规划和知识要求,长时程任务执行对LLM仍具有挑战性,即使是表现最佳模型Qwen3-32B准确率在15个轮次内也降至50%以下 [23] Self-Conditioning效应的影响 - 研究发现随着任务推进,每步错误率本身会上升,这与人类通过练习进步形成对比,推测模型以自身容易出错历史为条件会增加未来出错可能性 [8] - 实验显示随着历史中错误率升高,后续步骤准确率急剧下降,验证模型会进行self-conditioning,这种性能下降不会通过增大模型规模而得到缓解 [8][26] - 与长上下文问题不同,扩大模型规模不能缓解self-conditioning效应,即使是参数2000亿以上的前沿大型模型仍然容易受到self-conditioning作用影响 [30] 思考模型的关键作用 - 近期思考模型不会受到先前错误影响,能够修正self-conditioning限制,顺序测试时计算量显著提升模型在单轮对话中可完成任务长度 [9] - 在没有思维链情况下,前沿大语言模型如DeepSeek V3连两步执行都无法完成,而具备思考能力版本R1则能执行200步,凸显行动前进行推理的重要性 [9] - 借助思维链,模型在单轮中能够执行步骤数量显著增加,经过强化学习训练的思维模型DeepSeek R1性能显著优于其经指令微调的对应模型DeepSeek-V3 [35] 模型性能基准测试结果 - 对前沿思考模型基准测试发现GPT-5思考版本(代号Horizon)能够执行超过1000步,远超能执行432步的Claude-4-Sonnet [9] - 实验显示开源权重模型在长时程执行方面仍在追赶仅通过API提供的模型,这凸显未来研究的机遇 [35] - 研究发现在显式提供所需知识和规划后,scaling模型大小仍能显著提高模型成功执行轮次数量,说明scaling模型价值不仅体现在让模型记住更多知识或更会寻找问题解答上 [7]
马斯克周末血裁xAI 500人
搜狐财经· 2025-09-16 14:27
公司战略调整 - xAI通过内部测试裁员33% 超过500名员工被解雇[1] - 数据标注团队规模从1500人缩减至1000余人 裁员近三分之一[11] - 公司战略转向重点扩张专业数据标注员 计划将专业团队规模扩展现有基础的10倍[11] 团队结构变化 - 数据标注团队原为xAI最大团队 在Grok开发过程中发挥关键作用[3] - 团队包含专业数据标注员(负责STEM/编程/金融/法律/媒体)和通用数据标注员(负责视频/音频/写作)两类[11] - 9月初已有9名数据标注团队经理被解雇[4] 后续通过一对一谈话评估员工价值[5][6] 测试与裁员过程 - 公司通过Slack发布突袭测试 要求员工在次日早上前完成[8] - 测试内容涵盖STEM/编程/金融/医学等传统领域 以及Grok个性/段子手/安全测试等特殊方向[8] - 测试引发内部恐慌[7] 超过100名员工在Slack表示不满[9] 行业趋势转向 - 人工智能行业从通用模型转向垂直领域模型 更注重数据质量而非数量[12] - 高质量语料消耗导致Scaling Law边际效应递减 训练成本快速攀升[12] - 垂直模型在金融/医疗/法律等行业更具准确性与合规性优势[14] 管理层风格 - 强调精悍团队理念 认为小团队更具创意和效率[22] - 对低绩效者容忍度低 注重高强度工作和出色表现[22][24] - 曾在特斯拉2年内裁员7000余人[18] 在Twitter一周裁员3700人[20]
马斯克周末血裁xAI 500人
量子位· 2025-09-16 13:58
xAI裁员事件与战略调整 - xAI进行内部突袭测试 淘汰率高达33% 超过500名员工被裁[1][2] - 数据标注团队规模从1500人缩减至1000余人 裁员比例接近三分之一[18] - 被裁员工主要为通用数据标注员 负责视频标注 音频标注和写作等任务[17][18] 数据标注团队结构与成本 - 数据标注团队是xAI最大团队 在Grok开发中发挥关键作用[3] - 公司采用直接雇佣而非外包模式 以增强对模型训练的控制和隐私保护[4] - 直接雇佣模式导致成本更高[5] - 2025年2月计划招聘数千人 半年内新增约700名数据标注员[6] 战略转向与招聘计划 - 公司战略转向专业数据标注领域 计划将专业数据标注员规模扩大10倍[19] - 专业数据标注员专注于STEM 编程 金融 法律和媒体等垂直领域[18] - 此次调整反映公司从"数据数量"向"数据质量"的战略转变[21] 垂直领域AI发展背景 - 互联网高质量语料枯竭导致Scaling Law出现边际效应递减[24] - 垂直模型在金融 医疗 法律等行业更具准确性与合规性优势[25] - 行业从通用大模型向垂直场景应用发展趋势明显[25][27] 马斯克管理风格 - 马斯克偏好精悍小团队 强调性能与效率[35] - 其管理理念认为小团队更具创造力 沟通效率更高且迭代更快[36][37][38] - 历史上在特斯拉2年内裁员7000余人 在Twitter一周裁员3700人[31][34] - 实行"硬核文化"要求 要求员工长时间高强度工作[42][43] 战略影响与行业意义 - 此次裁员可能帮助Grok在垂直应用领域建立优势[28] - 过度依赖专家库可能限制数据多样性 带来模型盲点风险[22] - 行业需要重新平衡数据质量与数量的关系[23] - 若战略失败 xAI可能在Scaling Law赛道落后于OpenAI等竞争对手[29]
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
机器之心· 2025-09-16 12:01
Scaling Law的收益递减争议 - 很多人认为Scaling Law面临收益递减 继续扩大计算规模训练模型的做法被质疑[1] - 研究发现即使模型在单步任务准确率提升变慢 这些微小进步叠加能让完成任务长度实现指数级增长 这在现实中更有经济价值[1] - 虽然scaling law显示LLM在测试损失等指标存在收益递减 但模型现实世界价值源于智能体能完成任务的长度 从这个角度 更大模型能将单步准确率微小提升复合放大 在任务完成长度上实现指数级跃升[3] 论文核心发现 - 论文标题The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs 来自剑桥大学等机构[5][6] - 长期以来完成长程任务一直是深度学习致命弱点 自动驾驶demo炫酷但真正上路跑长途用了十多年 AI能生成惊艳图片但拍连贯一致长视频仍是难题[6] - 可以通过解耦推理或智能体任务中规划(planning)和执行(execution)需求来解决长程任务问题 规划涉及决定检索信息或使用工具顺序 执行是让规划变成现实[7] - 在思考的幻觉论文中 LLM显然知道规划 最初正确执行许多步骤 最终失败在于执行 随着任务变长 模型执行规划时更容易犯错[7] Scaling是否存在收益递减 - 虽然单步准确率提升幅度减小 但准确率微小提升可复合放大 导致模型能完成任务长度呈指数级增长[7] - 在显式提供所需知识和规划后 scaling模型大小仍显著提高模型成功执行轮次数量 说明scaling价值不仅体现在让模型记住更多知识或更会寻找问题解答上[8] - 当步骤准确率超过70%后 步骤准确率微小提升带来比指数级更快任务长度改善 即使在短任务问答基准测试中准确率提升似乎放缓 从数学角度仍可期待更长任务上取得显著收益[15] Self-Conditioning效应 - 随着任务推进 每步错误率本身会上升 这与人类形成对比 人类执行任务时通常通过练习进步[9] - 由于模型训练很大部分根据上下文预测最可能下一个token 让模型以自身容易出错历史为条件会增加未来出错可能性[9] - 随着历史中错误率升高 后续步骤准确率急剧下降 验证模型会进行self-condition设定[9] - 除了长上下文问题 self-conditioning设定还会导致模型在长程任务中性能下降 且这种性能下降不会通过增大模型规模缓解[9] 思考的影响 - 近期思考模型不会受到先前错误影响 能够修正self-conditioning限制[10] - 顺序测试时计算量显著提升模型在单轮对话中可完成任务长度[10] - 没有思维链情况下 DeepSeek V3等前沿大语言模型连两步执行都无法完成 而具备思考能力版本R1能执行200步 凸显行动前进行推理重要性[10] - GPT-5思考版本(代号Horizon)能执行超过1000步 远超能执行432步Claude-4-Sonnet[10] 经济价值衡量 - 人类劳动报酬往往按时间计算 如果智能体经济价值源于它能完成任务时长 那么单轮或短任务基准可能并非评估进一步投资大语言模型计算资源带来收益可靠参考[19] - 这些基准可能让人产生进展放缓错觉 而更能体现经济价值指标 模型能完成任务时长 实际上仍在快速增长[19] - 如果一个模型能完成任务长度表明其经济价值 那么持续投入增加计算量可能值得 即便短任务基准测试给人进展放缓错觉[11] 实验设计与结果 - 通过显式提供必要知识和规划隔离执行失败情况 将航班选择智能体示例中"先检索后组合"步骤串联起来[23] - 规划负责决定检索什么以及如何组合 而执行是实际执行这些操作 符合键值(key-value)词典抽象[23] - 即使去除了规划和知识要求 长时程任务执行对LLM仍具挑战性 所有模型第一步达到100%准确率 但任务准确率在后续回合迅速下降[25] - 更大模型在更多轮次保持更高任务准确率 导致任务长度呈现明显scaling趋势[27] - 随着轮次数量增加 各轮次准确率稳步下降 长上下文和self-conditioning都会导致准确率下降[28] - 当以无错误历史为条件时 模型在第100轮轮次准确率低于初始值 这与长上下文退化观察一致 随着上下文中注入错误比例提高 第100轮准确率持续下降 证明self-conditioning效应[28] 单轮任务执行能力 - 没有思维链情况下 不具备思考能力模型难以在单轮中完成两个步骤衔接[34] - 更大规模Qwen3 32B Gemma3 27B 以及DeepSeek-V3(670B)和Kimi K2(1026B)等前沿非思考型模型 连复杂度为2单轮任务都无法完成[34] - 借助思维链 模型在单轮中能执行步骤数量显著增加 对于智能体 行动前先进行推理至关重要[36] - 对于长时程执行任务 顺序性测试时计算比并行测试时计算更有效[36] - GPT-5(代号Horizon)与其他模型如Gemini 2.5 Pro Grok 4和DeepSeek R1之间存在巨大差距[36] - 经过强化学习训练思维模型DeepSeek R1性能显著优于其经指令微调对应模型DeepSeek-V3[36] - 长时程执行是挑战 开源权重模型仍在追赶仅通过API提供模型[37]
院士张宏江:Agent将替代企业流程,也会改变未来的人类组织构成
新浪科技· 2025-09-11 10:34
专题:2025 Inclusion·外滩大会 新浪科技讯 9月11日上午消息,今日外滩大会现场,源码资本投资合伙人,美国国家工程院外籍院士张 宏江表示,DeepSeek R1出现之后,跟当时世界上最好的推理模型之间的差距,成本上只有几十分之 一,性能却非常接近。说明其实在资源这件事情上,当成本降低之后,它的需求会更大幅度成长。 他提到,以ChatGPT发布为标志,大模型两年多时间,今年三月份,ChatGPT的日活跃已经接近搜索引 擎的30%,说明大模型已经成为大家日常。还能看到的是,无论是OpenAI的ChatGPT还是其他,各家公 司使用大模型也在加速。 AI曾经是我们的助理,但是这个助理的时间很短,很快将会变成我们的伙伴,他表示,AI会有自己的 规划和行动,这是人和机器、人和模型的新的关系。他总结,Agent将替代企业流程,也会改变未来的 人类组织构成和就业。(罗宁) 责任编辑:江钰涵 张宏江表示,模型性能快速提高,使用成本快速降低。而这件事会伴随大模型的发展持续发生。大模型 的生态又在推动很多产业发生Scaling Law,并带动整个经济的发展。 张宏江提到agent的规划能力指数性成长,并出现摩尔定律 ...
国内外AI大厂重押,初创梭哈,谁能凭「记忆」成为下一个「DeepSeek」?
36氪· 2025-09-07 17:07
大模型记忆能力的技术演进 - 大模型记忆能力是指模型具备人类对记忆的组织、检索和应用方式 属于长期记忆或终身记忆范畴 区别于当前依赖长文本和外部数据库的短期记忆[3] - 技术演进背景是模型推理能力已成为行业标配 而通用Agent仍空缺 技术曲线放缓促使行业寻求通过记忆能力实现持续学习和长上下文理解[2] - 记忆能力研究自2023年底兴起 因Scaling Law边际效应下降 算力堆叠仅能带来不足10%的性能提升 需寻找新技术范式[12][19] 行业参与者布局动态 - 2024年8月多家厂商密集推出记忆功能:Anthropic的Claude支持对话记忆检索[4] 谷歌Gemini支持跨对话提炼用户偏好[4] 字节跳动Seed团队发布多模态M3-Agent系统[4] - OpenAI于2023年2月已在ChatGPT上线记忆功能 2024年Sam Altman明确将记忆作为GPT6重点[4][5] - 新兴玩家加速入场:马斯克xAI的Grok于4月实现多轮对话记忆[6] Mistral AI宣布与20多个企业平台集成记忆系统[6] 技术实现路径分析 - 参数化记忆路径:通过模型架构创新实现记忆存储 如Temp-Lora方法用临时模块记录历史交互[18] 非Transformer架构包括谷歌Titans三级记忆机制和Meta的记忆层替换方案[25] - 上下文工程路径:通过Prompt和KV cache管理实现记忆 如Manus公司极致化Agent间记忆复用 但依赖人工工程且错误归因困难[26] - 外部数据库路径:采用RAG和向量数据库存储信息 但存在检索准确性低 工程成本高且无法通过训练提升模型性能的局限性[27] 应用场景与商业前景 - 记忆能力是AI Agent突破的关键 需支持不依赖Context Window的终身记忆 满足游戏陪伴等长期交互场景需求[15][21] - 两类商业模式分化:OpenAI等C端厂商通过全局记忆或局部记忆增强用户粘性[31] 中间件服务商如MemOS和Zep提供开源框架推动去中心化记忆生态[32] - 技术成熟度需1-2年实现大规模应用 3-5年解决幻觉和隐私等治理问题 市场格局未定 存在黑马机会[34][35] 学术与产业研究进展 - 中国科学院院士鄂维南团队于2024年7月发布记忆分层模型Memory³ 将参数拆解为隐性/显性/外置记忆库 获Meta和谷歌跟进[8] - 腾讯AI Lab早期研究RAG提升记忆能力 2021年获ACL杰出论文奖 2024年1月开发出参数化记忆方法解决游戏Agent终身记忆需求[13][18]
国内外AI大厂重押,初创梭哈,谁能凭「记忆」成为下一个「DeepSeek」?
机器之心· 2025-09-07 13:12
大模型记忆能力的重要性 - 记忆能力成为AI技术演进的关键方向 是提升AI智能的核心 让AI能够持续学习积累经验 适应新任务而不遗忘旧知识 同时实现长上下文的高效理解[2] - 当前大模型依靠长文本和外部数据库的记忆属于"短期记忆" 而业界追求的是具备人类记忆组织、检索、应用方式的"长期记忆"或"终身记忆"[3] - 2024年8月成为记忆功能集中发布期 Anthropic在8月12日让Claude具有记忆功能 谷歌13日宣布Gemini配备记忆能力 字节跳动14日发布具备长期记忆的M3-Agent系统 OpenAI在20日将记忆作为GPT-6重点[4] 行业参与者布局情况 - OpenAI早在2023年2月就在ChatGPT上线记忆功能 马斯克的xAI在2024年4月宣称Grok能记住多轮对话 Mistral AI最新宣布引入记忆系统并与20多个企业平台集成[5][6] - 记忆张量是聚焦Agent Memory的初创企业 推出了业界首个记忆操作系统 其团队成员参与研发的记忆分层大模型Memory³在2024年7月发布[9] - 腾讯AI Lab是业界最早进行利用RAG提升模型记忆能力的研究团队之一 相关研究曾获得2021年ACL杰出论文奖[14] 技术发展驱动力 - 技术侧驱动力来自Scaling Law边际效应下降 通过堆算力、参数量获得性能提升的效果明显下降 即便再去堆成倍算力 都拿不到10%甚至5%的能力突破[20] - 应用侧需求来自AI Agent发展 用户希望AI能作为合作伙伴解决长期问题 需要记住之前的交互与反馈 模型终身记忆成为非常重要的事情[21][22] - 记忆能力是Agent取得突破性进展的必不可少环节 技术侧和应用侧形成双重诉求[7][23] 技术路线分析 - 参数化记忆路线基于基座模型架构驱动融合记忆创新 让模型从参数层面区分需要被记忆的内容 在推理过程中融合到前向推理过程[26] - 上下文记忆路线将信息以prompt方式放在Context Window中 典型代表Manus不断强调在Agent交互过程中做KV cache管理[28] - 外部数据库/RAG路线将信息存储在模型外部数据库中 通过RAG将相关内容取回注入到当前Context Window[28] - 各种路线都有优势与局限性 参数化记忆理论上限高但研发成本高 上下文记忆容易变成纯粹工程事情 RAG上限较低[27][28][29] 市场格局与商业模式 - 第一类玩家是OpenAI、Anthropic、Google等AI厂商 通过引入长短期记忆能力达成个性化服务目标 借助记忆的个性化能力来留住用户[33] - 第二类玩家是记忆中间件服务商 如Mem0、记忆张量的MemOS、Zep等开源记忆框架 面向更广泛开发者提供记忆能力增强[33] - Mistral AI宣布免费扩展企业级业务平台Le Chat 已与20多家平台集成 试图通过提供先进记忆功能打破AI市场竞争格局[35] 发展时间框架 - 距离真正能够大范围应用记忆能力 让用户感受到生活无处不在变化 还需要一到两年时间[36] - 要达到解决记忆幻觉问题、隐私保障和立法等治理层面 至少还需要三到五年时间[37] - 记忆能力竞赛中各类玩家互相角力 战况胶着 谁都有可能突破 未来乾坤未定 一切皆有可能是黑马[38]