Scaling law

搜索文档
肖仰华教授:具身智能距离“涌现”还有多远?|Al&Society百人百问
腾讯研究院· 2025-06-27 14:59
生成式AI与具身智能的发展路径 - 生成式AI以AIGC为代表,目标是让机器具备人类大脑的认知能力,包括语言生成和逻辑思考能力 [9] - 具身智能目标是让机器习得人类身体的感知和行动能力,实现与复杂世界的高效交互 [10] - 两条技术路线都是通往AGI的关键形态,下一个重要里程碑是身心协同阶段 [10] - 生成式AI已实现生产力成百上千倍提升,如合同审校、绘画制作等工作效率大幅提高 [13] - 具身智能对生产力的提升作用相对有限,可能仅相当于人口增长1-2倍的效果 [15] 技术革命的三重标准 - 基础性:技术需像水电煤一样成为基础设施 [13] - 生产力提升:需实现指数级效率提升,如AIGC极大提高论文生产力 [13] - 社会影响:需深度渗透社会各领域,改变上层建筑 [14] - 生成式AI完全符合这三重标准,是一场真正的技术革命 [14] - 具身智能对社会的影响力相对有限,更多是认知智能突破后的技术延伸 [16] 数据与模型的关系演进 - 业界观点:模型算法决定效果下限,数据决定上限 [20] - 大模型研发70-80%成本投入在数据上,剩余在算力运维和算法设计 [21] - 数据墙问题凸显:互联网公开高质量数据已接近枯竭 [22] - 后训练范式崛起:数据规模让位于质量,算力规模让位于算法设计 [18] - 数据不足可通过知识注入缓解,但培育高质量数据集仍是根本 [23] 具身智能的数据挑战 - 当前具身模型训练数据量仅百亿token级,与语言模型万亿级相差两个数量级 [24] - 数据采集面临个体体验表达困难和环境建模复杂双重挑战 [34][35] - 真机数据成本高昂,仿真数据质量有限,制约GPT时刻到来 [25] - 可能解决方案:穿戴设备普及形成动作轨迹数据 [26] - 训练策略调整:数据量不足时可增加训练量,借鉴人类泛化机制 [36][38] 产业落地逻辑 - 行业AI落地的关键在于行业数据治理和清洗 [21] - 央国企等大甲方应重点投入行业数据准备而非模型研究 [22] - 具身机器人应走场景化、任务化路径,而非追求绝对通用性 [48] - 身体构造决定功能边界,集约化需考虑物理可行性 [49] - 专用机器人价值明确,通用机器人是伪命题 [48] 技术范式演进 - 仍未跳出符号主义、连接主义和行为主义三大传统范式 [39] - 连接主义:模拟神经网络,处理感知任务 [40] - 符号主义:基于知识推理,处理认知任务 [40] - 行为主义:通过交互反馈进化,处理技能习得 [41] - 三种范式在完整AI解决方案中各有侧重 [43] 理性思维发展 - 人类能力分为知性、理性和感性三个维度 [28] - GPT4前主要训练知性能力,O1和DeepSeek R1开启理性能力 [29] - ToB应用需要专业理性思维,ToC需要共情感性能力 [31] - OpenAI布局完整:知性(GPT4)、感性(GPT-4o)、理性(O1) [31] - 国产大模型与国际差距主要在理性能力即知识应用水平 [29]
通往 AGI 之路的苦涩教训
AI科技大本营· 2025-06-26 19:10
核心观点 - Google DeepMind CEO Demis Hassabis预测未来5到10年内有50%概率实现通用人工智能(AGI)[1] - AI发展历程中最大的教训是过度依赖人类经验而非算力与数据规模[2][3] - 当前AGI探索面临技术路径的隐忧,包括强化学习的局限性、脑模拟的算力瓶颈以及NLP的认知边界问题[9][14] 技术路径分析 - **强化学习**:虽为早期突破性技术,但存在"短视"缺陷,需结合更宏观的智能框架[14] - **脑模拟**:受限于算力瓶颈与理论盲区,难以完全复现人类认知机制[14] - **自然语言处理(NLP)**:虽进展迅速,但语言能力不等同于认知能力,模型输出与真实思想存在本质差异[9][15] 行业趋势与反思 - **算力驱动**:历史表明AI突破的核心引擎是计算规模而非人类直觉[2][3] - **大模型争议**:Scaling Law下参数膨胀可能掩盖智能本质,引发"进化还是幻觉"的质疑[15] - **跨学科融合**:脑科学与AI交叉研究成为新方向,强调对世界理解与知识迁移的能力[7][13] 关键人物与事件 - **刘嘉教授**:从AI转向脑科学再回归,提出AGI需融合认知科学、心理学等多学科视角[7][13] - **AlphaGo事件**:标志性技术转折点,推动研究者重新审视智能的本质与构建路径[7] - **《苦涩的教训》**:Richard Sutton指出AI发展应放弃人类经验依赖,专注算力与数据扩展[2][3] 未来探讨方向 - AGI构建是否需突破语言模型的表层能力,实现真正的认知理解[9][15] - 技术路线选择如何平衡短期效果(如NLP)与长期智能本质(如脑模拟)[14] - 跨学科研究(脑科学+AI)对突破现有范式局限的潜在价值[7][13]
中信证券:系统级算力有望成为AI发展的下一站 建议关注国内产业链相关公司
智通财经网· 2025-06-26 08:29
系统级算力发展趋势 - AI大模型训练和推理需求持续旺盛,scaling law在后训练和在线推理方向持续演进 [1] - 底层基础设施向更大集群发展,单芯片算力提升受先进制程影响迭代速度可能放缓,系统级节点通过解决互连、网络、内存墙等问题成为重要方向 [1] - 系统级算力有望成为AI发展的下一站,国产GPU芯片公司可能通过高资源密度算力基础设施实现对海外产品的追赶和超越 [1] 系统级算力的技术需求 - 芯片层面涉及AI加速芯片、CPU芯片、Switch互连芯片、DPU数据处理芯片,国产AI加速芯片在峰值算力和软件生态上仍落后于海外旗舰产品 [2] - 互连层面NVLink5.0提供1.8TB/s双向带宽,远超传统PCIe方案十倍,国产芯片需自研技术方案助力系统集群发展 [2] - 网络层面采用RDMA技术实现远程内存访问,主流技术包括InfiniBand、RoCE等 [2] - 整机层面系统级算力需通过系统设计、规划、测试完成,与传统AI服务器相比更需垂直融合能力 [2] 系统级算力的技术示范 - 单芯片算力发展快于通信领域,通信效率成为集群效率提升关键因素 [3] - 构建大集群的两种方式:Scale up(纵向扩展)和Scale out(横向扩展),Scale up因更大带宽、更低时延和更大缓存一致性内存空间成为重要方向 [3] - 英伟达NVL72系统和华为CloudMatrix384超节点为行业发展提供示范 [3] 半导体行业的整合趋势 - 半导体行业通过收并购进行技术整合与市场拓展,头部企业通过并购获取市场机会并扩展技术能力 [4] - 英伟达收购Mellanox扩展NVLink至IB等RDMA网络,为下一代大规模计算集群做技术储备 [4] - AMD收购ZT Systems获取系统架构设计能力和数据中心解决方案交付经验,构建AI解决方案核心 [4] 未来基础设施的关键因素 - 底层通用性与技术前瞻性对未来基础设施搭建至关重要,应用发展将随之带来回报 [5]
Kimi还能找到月之亮面吗?
36氪· 2025-06-25 16:08
行业竞争格局演变 - 行业焦点从Kimi的长文本能力转向多模态生成(视频/代码)和Agent应用[1] - 大厂入场导致竞争加剧:字节豆包依托抖音生态实现流量垄断 单月投流预算达1.24亿[9] - 技术护城河被侵蚀:DeepSeek开源长文本模型 豆包整合视频库 Kimi仍依赖单一文本交互[12] Kimi发展历程分析 - 早期技术优势:2023年率先实现20万至200万字长文本处理 形成非对称竞争力[2][3] - 资本追捧因素:技术稀缺性+创始人学术光环(CMU博士/苹果谷歌导师)+资本防御性布局焦虑[3][4] - 估值逻辑:参照OpenAI 860亿美元估值 阿里8亿美元投资占股36%[4] 战略失误与运营问题 - 投流失控:单月最高投放2.2亿 日均烧钱700万 投流费用占比达70%[7][30] - 用户质量失衡:DAU从50.83万飙升至589.7万但高知用户流失 品牌调性受损[8][11] - 技术空心化:资源向流量倾斜 延误多模态和视频理解等关键技术升级[11] 潜在突围方向 - 提升价值密度:优化Kimi Researcher的交互逻辑 实现"打断+追问"深度研究功能[15][16] - 深耕垂直场景:医疗病历分析/法律条款审查等B端需求 配套完整开发者工具链[18][19] - 聚焦核心用户:服务数千万效率工作者 建立内容质量而非数量的竞争优势[22][23] 行业启示 - 战略定力关键:识别主要矛盾(真实付费需求) 避免被资本和流量带偏节奏[25][26] - 商业化前置:产品开发需同步规划变现路径 可持续增长率公式揭示投流占比应<30%[29][30] - 护城河本质:客户付款凭证比融资头条更重要 技术信仰需通过商业闭环验证[31]
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
AI科技大本营· 2025-06-25 14:49
通义千问多语言战略 - 通义千问(Qwen)从项目启动就将国际化作为核心战略,优先考虑多语言数据优化以服务全球用户[2][9] - 模型支持全球119种语言,在Hugging Face平台下载量位居前列,衍生模型数超过10万个[2][6] - 英语社区用户量最大,中文用户仅排第三或第四,体现其国际化影响力[8][9] 多语言技术突破 - 建立覆盖上千细粒度分类的文化标注体系,解决不同语言文化禁忌与安全合规问题[3][13] - 采用"英语内部推理+目标语言输出"的折中方案应对多语言混杂难题,提升小语种稳定性[16] - 通过数据合成与人工审核结合提升低资源语言数据质量,文化对齐投入占研发重要比重[14][16] 模型能力演进方向 - 提出"知识密度"概念,4B参数小模型性能已超越早期70B大模型,反映数据质量优化成效[19][20] - 持续探索Scaling Law延续路径,重点布局合成数据两大方向:创造新知识与提升数据纯度[21][22] - 针对"数据回流"现象采取混合比例控制,保留人类数据多样性避免模型风格趋同[25] 产品生态布局 - 采取大小模型并行策略,4B级小模型适配终端设备部署需求,已应用于车载、穿戴设备场景[26][28] - 与硬件厂商合作开发Mobile-Agent系统,实现视觉操作手机等基础功能,复杂场景仍需技术突破[30][31] - 规划将语音翻译、文字识别等能力深度集成至操作系统,但涉及安全的核心功能保持审慎[32][34] 行业趋势展望 - 多语言技术面临三大挑战:文化多样性对齐、小语种生成流畅度、多模态融合[39][41][43] - 合成数据与跨模态迁移被视为解决小语种数据匮乏的关键路径,需社区共建高质量数据集[42][45] - AI技术替代催生新职业形态,如AI编程师、Prompt工程师等协同型岗位将成就业增长点[37][38]
从Sam Altman的观点看AI创业机会在哪
虎嗅· 2025-06-24 20:22
行业变革与创业机会 - 剧烈变化时期为新创公司提供最多机会,原有规则被打破,大公司反应迟钝,小团队更易快速切入[1][2] - AI技术呈现指数级突破,AGI和HI从科幻概念逐步成为现实,技术拐点已至[3][4][7] - OpenAI从2015年不被看好的初创公司发展为全球第五大网站,日服务上亿用户[5][6] AI技术颠覆性影响 - 开源模型、云算力和工具链使小团队能以极低成本完成过去需大厂投入的任务[10] - 颠覆性技术导致传统玩家"失焦",新公司更易在细分领域实现突破[11][12] - 创业工具(GitHub Copilot、Midjourney等)和全球化协作降低创业门槛[13][14] 创业方向选择策略 - 市场稳定期格局固定,技术剧变期规则重塑,混乱中找方向者胜出[18] - "百分之一法则":真正有价值的项目初期仅少数人认同[25] - 坚持独特方向(如OpenAI的AGI)能吸引长期坚持的核心人才[28][29] AI产品形态演进 - AI从"工具"变为"代理",实现主动型智能服务(如自动行程安排)[33][34] - 人机交互边界消失,AI成为"隐形界面",传统SaaS模式面临终结[36][38][39] - "智能体商店"概念兴起,按需生成专属AI助手替代传统App[43][44] 护城河构建逻辑 - OpenAI护城河三阶段:技术先发优势→用户体验深化→开源生态共建[58][62][65] - 避开内卷方向(如大模型训练平台),专注未开发领域(如AI自主任务链)[70][72] - 混合计算模式(轻量模型+强大推理)和统一多模态架构是技术差异化关键[73][74] 技术与社会协同效应 - AI与能源构成共生关系:能源支撑AI扩张,AI推动能源技术突破[80][81][83] - 技术创造"指数级丰裕",可能重构社会契约,降低对传统工作的依赖[87][89] - 政府需在硬科技(核聚变、数据中心等)领域发挥核心推动作用[91][92]
Kimi没有梦想
虎嗅· 2025-06-24 13:32
行业动态 - AI行业产品迭代频繁,大模型版本更新速度达月均一次,但市场关注度集中于AI自媒体领域[1] - 行业存在代际更替现象,当前"杭州六小龙"取代了上一代"AI六小虎"的行业地位[2] - 技术路线争议显现,2024年11月OpenAI科学家质疑Scaling Law局限性,DeepSeek推出基于强化学习的新模型挑战传统技术路径[20][21] Kimi公司发展历程 - 2023年成立初期以长文本处理为技术特色,创始人杨圣提出"长文本是AI新内存"的理论框架[11][12] - 2023年内完成两轮融资累计近20亿人民币,2024年初获阿里8亿美元投资后估值飙升至30亿美金[13][14] - 公司战略多次转向,从长文本主业扩展到Agent开发、社区运营等新业务线[5][7] 运营策略问题 - 采取激进用户增长策略,投入大量资源进行短视频投流,内容定位偏离技术路线[16] - 早期投资人推崇"数据飞轮"理论,但2024年底行业证实Scaling Law存在技术天花板[18][19][20] - 营销决策被质疑模仿移动互联网烧钱模式,类比ofo单车的失败案例[17] 公司危机事件 - 2024年11月11日爆发重大商业伦理争议,创始人涉及老股东仲裁案及套现指控[22] - 舆论危机导致融资渠道受阻,尤其失去国资投资可能性[23] - 市场评价公司为"大号版循环智能",反映商业模式可持续性受质疑[24] 创始人背景 - 杨圣以卡耐基梅隆博士学历和AGI信仰建立"天才少年"人设,初期技术路线选择具前瞻性[11] - 但后期战略执行出现偏差,未能维持技术领先优势[6] - 创始人叙事光环因商业纠纷完全破裂,影响公司形象[22]
OpenAI路线遭质疑,Meta研究员:根本无法构建超级智能
36氪· 2025-06-20 20:00
超级智能发展路径 - 超级智能是超越AGI和人类通用能力的更高维度AI发展方向,Meta等头部公司正投入巨资追求这一目标 [1][3] - OpenAI CEO认为构建超级智能是工程问题而非科学问题,暗示已有可行路径 [1][3] - Meta研究员质疑当前主流LLM+RL路径的有效性,认为无法实现超级智能 [1][2] 技术实现争议 - 构建超级智能的三种可能路径:纯监督学习(SL)、人类验证的强化学习(RL)、自动验证器的RL [2] - 当前LLM在训练分布内任务表现持续提升,但难以发展为单一超级智能模型 [2][34] - 文本数据具有特殊价值,非文本数据(图像/视频等)尚未证明能提升模型整体性能 [6][7] 数据与规模挑战 - 互联网文本数据面临枯竭风险,行业正全力挖掘剩余数据(如转录YouTube视频) [8][19] - 模型规模扩展遭遇硬件和电力瓶颈,部分公司尝试分布式训练甚至收购核电站 [18][19] - 参数规模突破10^19的假设难以实现,当前最大模型约千亿参数级别 [17][18][19] 学习方法比较 - 监督学习(SL)面临规模扩展极限,未来3-4年可能仅能扩展10倍 [19][20] - 强化学习(RL)存在冷启动问题,需结合SL解决 [22][23] - RLVR(可验证奖励强化学习)成为新方向,OpenAI已展示在数学题上的成功案例 [32][33] 行业竞争格局 - Meta建立秘密"超级智能"实验室,投入数十亿美元资金 [3] - OpenAI、Anthropic和Google DeepMind均公开超级智能研发目标 [3] - 行业可能进入RL任务集军备竞赛,争夺最优训练环境设计 [33]
天工不止造物,也能修bug:Skywork-SWE给代码智能体补上软件工程课
机器之心· 2025-06-20 10:22
核心观点 - Skywork-SWE 是昆仑万维推出的自主代码智能体基座模型,专注于修复开源软件工程中的 bug,具备多轮交互、长上下文理解与逻辑推理能力 [2][7] - 该模型参数量达 32B,是目前同规模下最强的开源软件工程智能体之一,在 SWE-bench Verified 基准上取得 47% 的准确度,超越多个主流闭源模型 [7][25][33] - 其核心突破在于构建了业内最大规模、可验证的 SWE 数据集(10,169 个真实代码问题 + 8,209 条多轮交互轨迹),首次系统性验证了数据 Scaling Law 在复杂工程任务中的适用性 [11][13][40] 技术实现 数据集构建 - 从 15 万个 GitHub 仓库筛选出 10,169 个真实代码问题和 8,209 条多轮交互轨迹,覆盖 2,531 个仓库,远超同类数据集(如 SWE-Gym Lite 仅 230 个实例)[13][16][21] - 采用三阶段九步骤流程:数据采集与预筛选(阶段 A)、环境设置与执行验证(阶段 B)、智能体轨迹生成(阶段 C),确保每条样本可复现并通过单元测试 [12][16][17] - 数据复杂度显著更高:平均每个补丁涉及 2.3 个函数修改、6 个代码块、74 行代码变更,更贴近真实开发场景 [20][21] 模型性能 - 在 SWE-bench Verified 基准上,Skywork-SWE-32B 以 47% 准确度超越 DeepSeek-V3-0324(671B 参数)和 Claude 3.5(46%),并实现 38.0% pass@1 准确度刷新开源记录 [25][27][33] - 实验显示模型性能随数据规模呈指数级提升且未饱和,验证了数据 Scaling Law 的有效性 [27][29] - 采用测试时扩展(TTS)技术后,Best of 8 测试下准确率提升至 47% [30] 行业意义 - 填补了高质量 SWE 训练数据的空白,其数据集被类比为软件工程智能体的「ImageNet」[40] - 开创了「数据+系统+执行力」的智能体开发范式,未来将扩展至更多编程语言并支持在线强化学习探索 [41][42] - 是昆仑万维 Skywork 系列的重要落地成果,与其多模态推理模型、音乐模型、短剧创作模型等形成全链条布局 [42]
小鹏想要的,不止“留在牌桌上”
虎嗅APP· 2025-06-20 07:55
出品丨虎嗅汽车组 作者丨李赓 头图丨视觉中国 在所有造车新势力中,今年1-5月依旧保持高速增长的只有两家:小鹏和零跑。 两家车企的销量都保持了大幅的提升 (1-5月零跑相比去年同期增长161%,小鹏增长293%) ,今年 一季度的营收也实现了大幅增长 (零跑同比增幅187%,小鹏同比142%) ,净亏损则实现了大幅的 收窄 (零跑净亏损缩小87%,小鹏净亏损缩小52%) 。除去数据上的略微不同,更加不同的是两家 心态的外露。 零跑依旧保持了自己不怎么开发布会不怎么大力做营销的状态 (今年正式发布会也就两场,而且全 是车型更新) ,而去年刚"触底反弹"的小鹏显然更加"珍惜"市场给的又一次机会,在方方面面都选 择了投入到"极点",几乎每个车型都要按着"曝光、预热、预发布、实际发布、会后沟通"的充分流程 走下来,更是在一众车企中罕见地结合产品发布会搞了几次针对实际车主的品牌文化活动。 就拿4月中,上海车展开幕前夕的关键时刻,何小鹏就跑到了香港去,不仅豪横地再次定下了香港启 德邮轮码头的场地 (2021赴港上市,也是这块场地) ,请了近500家中外媒体看新款X9发布。在主 活动之外,小鹏还在香港独立地举办了两场媒体沟 ...