规模法则
搜索文档
llya最新判断:Scaling Laws逼近极限,AI暴力美学终结
36氪· 2025-11-26 16:46
在硅谷的叙事体系里,Ilya Sutskever 是一个少数可以被称作"图腾"的名字。 作为 ImageNet 革命的重要推手、OpenAI 的联合创始人、GPT 系列的关键缔造者,他几乎定义了过去 十年深度学习的前进方向。 但就在全球产业都把赌注押在"堆更多 GPU、做更大模型"之上,试图用规模化(Scaling)去撞开 AGI 的大门时,这位技术奠基者选择了另一条路:创立SSI。 11 月 26 日凌晨,Safe Superintelligence(SSI)首席执行官、OpenAI 联合创始人伊利亚·苏茨克维(Ilya Sutskever,下称苏茨克维)在接受播客主持人德瓦克什·帕特尔采访时,罕见系统地谈论了他对当前 AI 路径的核心判断: 1、预训练时代的突破在于,它提供了一套可复用、几乎必然奏效的"配方":准备足够的数据、算力和 一个能撑住规模的模型结构,性能就会持续上升。 如今,规模法则正在接近极限。强化学习的算力消耗巨大,却并不能算作真正的"扩展"。同时,扩展与 浪费算力之间的界线变得模糊。 这意味着行业正在从"规模驱动"重新回到"研究驱动"。科研确实需要算力,但并不需要绝对最多的算 力。真正需要 ...
大模型不再拼“块头”——大语言模型最大能力密度随时间呈指数级增长
科技日报· 2025-11-25 08:13
如今,大模型蓬勃发展,有没有指标来衡量AI大模型的"智力能力水平"?近日,清华大学研究团队提出 了大模型的密度法则,相关论文刊发于自然子刊《自然·机器智能》上。密度法则揭示大语言模型的最 大能力密度随时间呈指数级增长,2023年2月至2025年4月,约每3.5个月翻一倍。 计算机领域的"摩尔定律"大家已经耳熟能详:芯片上可容纳的晶体管数量,每隔一段时间就会翻一番。 计算机的强大,不是因为芯片变得像房子一样大,而是因为它在指甲盖大小的面积上集成了天文数字的 计算单元。清华大学计算机科学与技术系助理研究员肖朝军告诉科技日报记者,大模型的智力能力水平 应该也有一个指标,这就是"能力密度"。 研究的核心假设是,采用相同制造工艺、充分训练的不同尺寸模型,其能力密度相同。正如芯片行业通 过提升电路密度实现了计算设备的小型化和普惠化,大模型也在通过提升能力密度实现高效化发展。 肖朝军说,过去,在规模法则的指引下,大家关心一个大模型的"块头"(参数量)有多大,越大就越智 能,就像关心一个举重运动员的体重,体重越重,力量越大。现在,密度法则从另一个视角揭示了大模 型"高效发展"的规律——我们更应该关心它的"能力密度",即每一单 ...
智能体崛起!
搜狐财经· 2025-10-10 01:53
OpenAI的战略转型与新产品 - OpenAI从模型公司转型为“用自然语言驱动生产力”的智能体平台 [2] - 推出四个核心新物种:Apps SDK(自然语言创建应用)、AgentKit(多智能体系统框架)、Codex(自动编写修复测试代码)、Sora 2(一句话生成视频模型和应用)[2] AI驱动的生产力革命与个体能力跃迁 - AI释放的生产力属性让每个人有机会成为“自开发”、“自公司”、“自团队”,其影响是自媒体时代的千倍万倍 [5] - 个体将能独立完成写出代码、产出软件、落地产品的完整生产闭环,催生由无数个体开发的“自产品”世界 [5] - 技术进步最伟大的发明是赋予个体“能力平权”的思想和能力 [6] AI时代工具的本质与超级个体组织 - AI工具将把真正脑力劳动者的能力放大到超人级别,实现“一个人+多个Agent”的超级个体组织 [9] - 执行层面按部就班的中层管理角色将被“中层机器人”取代,个体可独立完成定义产品、搭建团队、制定流程、生成广告、管理用户的完整商业链路 [9] - 未来创业只需调研机器人、开发机器人、营销机器人等Agent集群,资本将投向“Agent集群”及其调度者 [10] 公司组织形态的重构与平台格局演变 - 公司的本质是分工协作的制度化,当智能体能自动分工执行评估,组织本身需要Agent重构 [11] - 个人需要新的“组织力”来管理时间、协调多个Agent配合以及用机器人管理其他机器人 [12] - AI时代科技主导者可能从七家巨头缩减到两三家,平台将围绕AI重建内容、商业、社交和资本生态 [17] AI原生平台的结构优势与内容产业变革 - Sora 2作为AI时代的“抖音”,其最大优势在于“原生结构”更优:内容由语言生成,语义密度高,生成过程可直接向量化内容以实现精准分发 [14][16] - 传统视频平台第一关卡在内容理解,而AI原生平台在语义空间中进行推荐更准确高效 [16] 技术红利分配与差异化竞争策略 - 技术红利下放但最终胜出者仍是极少数,例如人人都能拍视频但能破千播放量的仅占前3%,能赚到1万元的又是这3%里的3% [18] - “规模法则”适用于技术、商业和社会,最强者一骑绝尘,多数人面临增长瓶颈和全球性“内卷” [19] - 差异化竞争策略是不与顶尖0.01%正面竞争,而是在自有坐标中做到差异化的0.01% [19] 未来技术演进与核心竞争力 - 量子计算等高阶算力平台将使“想法”到“实现”的时间差无限逼近“瞬时”和“边际零成本” [21] - 当“实现”不再稀缺,唯一的真正竞争力将回归创意与思想本身 [22]
人形机器人亿元级订单接连落地,半年前刚投钱的股东向智元下单近千台
新浪财经· 2025-10-09 19:45
行业订单趋势 - 国内具身智能机器人领域亿元级订单落地节奏自今年下半年以来加快 [1][4] - 2025年被业内视作人形机器人商用化元年 [4] - 国内多家本体企业已在2024年底至2025年初完成百台至千台交付 [7] 智元机器人合作与订单 - 智元机器人与龙旗科技达成深度战略合作 获得数亿元金额的智元精灵G2机器人框架订单 [1] - 合作将部署近千台机器人 是目前国内工业具身智能机器人领域最大订单之一 [1] - 智元机器人将提供从场景适配、定制、安装培训到技术维护的全周期一体化服务 [2] - 龙旗科技持有智元机器人0.7394%的股权 并参与其B轮融资 [2] - 智元机器人曾与富临精工达成数千万元项目合作 近百台远征A2-W将落地工厂 [4] - 智元机器人中标中移信息人形双足机器人代工服务采购项目 获得7800万元订单 [6] 其他公司动态与订单 - 智平方与深圳慧智物联达成战略合作 计划未来三年内在惠科全球生产基地部署超过1000台具身智能机器人 [4] - 智平方自有工厂于今年9月正式投产 年产能超千台 [4] - 优必选于4月签订大型双足人形机器人采购合同 7月中标觅亿汽车9051.15万元项目 [5] - 优必选于9月初获得某国内知名企业2.5亿元具身智能人形机器人产品及解决方案采购合同 创全球人形机器人最大合同纪录 [5] - 优必选子公司UQI优奇与天奇股份签订总价3000万元的Walker S系列采购合同 将于2025年底前完成交付 [6] - 宇树科技中标中移信息人形双足机器人代工服务采购项目 中标金额为4605万元 [6] 行业应用与挑战 - 智元精灵G2前期重点应用于平板产线 实现具身智能机器人在消费电子组装制造场景批量落地 [1] - 行业真正推动非线性增长的转折点在于硬件降本与机器人大脑智能的双重突破 [7] - 当前交付场景多集中于科研、教育、展示等ToG领域 软件层的智能突破尚未显现 [7]
Anthropic CEO“讨伐”黄仁勋、奥特曼:一个令人失望,一个动机不纯
36氪· 2025-08-01 12:12
核心观点 - Anthropic首席执行官驳斥英伟达CEO关于AI安全控制的批评 强调公司推动"向上竞赛"的使命 通过透明政策和创新研究引领行业发展[1][3] - Anthropic营收从2023年1亿美元飙升至2024年前7个月45亿美元 按此增速两年后或达千亿美元[1][5][9] - 公司认为AI发展遵循指数增长规律 模型能力与经济价值将持续快速提升 编程用例成为战略重点[8][9][11][16] - 强调使命认同感是留住人才的核心 Meta高薪策略长期效果存疑 公司已筹集近200亿美元资金 资本效率优于竞争对手[5][13][14][15] 驳斥黄仁勋"AI安全控制论" - 明确否认试图通过AI安全议题控制行业 强调Anthropic通过发布负责任的扩展政策、可解释性研究等透明措施促进行业整体进步[3] - 指出黄仁勋的批评是对立场的曲解 公司目标是树立标杆鼓励其他公司效仿而非技术垄断[3] - 随着AI能力提升 公司认为有必要更公开地表达观点 包括警示潜在风险与强调积极应用[3][4][7] AI指数增长与技术突破 - 坚信AI发展遵循指数增长规律 模型能力每6个月翻倍 未发现阻碍扩展的根本障碍[8][9] - 编程能力显著提升 模型在SWE-Bench测试得分从18个月前3%提升至当前72%-80% 内部大部分代码由AI协助完成[11] - 持续学习问题可通过规模法则解决 上下文窗口已扩展至数百万单词 接近人类一生信息接收量[11] - 否认忽视新技术开发 每款Claude模型均伴随架构、数据和训练方法创新 人才密度保障技术持续进步[12] 资源竞争与商业模式 - 已筹集近200亿美元资金 数据中心规模与行业领军者相当 受能源和资本化限制而非资金短缺[13] - API是主要收入来源(占比60%-75%) 企业用例被视为更具潜力 模型能力提升对商业客户价值显著[16] - 编程成为战略重点 因其商业价值突出且能反哺模型开发 定价逻辑基于创造价值而非单纯成本[16][17] - 预计今年亏损30亿美元 因持续投资新模型训练 现有模型本身已盈利但整体因研发投入未盈利[19] 行业竞争与人才策略 - Meta高薪挖角策略遭质疑 公司通过系统化薪资制度和使命认同保持低流失率[5][13][14] - 强调资本效率优势 以1亿美元实现其他公司10亿美元效果 收入增速证明竞争力[15] - 开源模型威胁被夸大 竞争核心在于性能而非开源 云端微调服务可弥补开源优势[20] 公司创立背景与价值观 - 离开OpenAI因认为其领导层动机不够真诚 另立门户追求"真诚的影响力"[22][23] - 批评OpenAI CEO行为极端不道德 强调组织决策对AI安全的关键作用[24] - 平衡AI潜力与风险 主张渐进式监管 若技术失控将呼吁全球暂停开发[25]
为什么定义2000 TOPS + VLA + VLM为L3 级算力?
自动驾驶之心· 2025-06-20 22:06
规模法则在自动驾驶中的应用 - 小鹏汽车在CVPR 2025论文中验证规模法则(Scaling Laws)在自动驾驶领域持续生效,核心发现是模型性能与参数规模、数据规模、计算量之间存在幂律关系 [4] - 在10亿(1B)、30亿、70亿直至720亿(72B)参数的VLA模型上验证了"参数规模越大模型能力越强"的规律 [6] - 确立了"海量高质量数据+大模型驱动"的自动驾驶能力跃升路径,VLA模型在VLM基础上增加了决策和行动能力 [6] 自动驾驶算力需求分级 - 从L2到L3级别算力需求呈指数级增长,L2级需80-300TOPS,L3级跃升至千TOPS级别 [8] - L3级需处理复杂城市道路场景,包括多样化交通参与者、动态环境条件等,需大规模神经网络实时推理 [8] - 小鹏提出2000TOPS+VLA+VLM作为L3级自动驾驶算力新标准 [6][8] VLA+VLM架构技术细节 - VLA架构以大语言模型为骨干,集成视觉理解、链式推理和动作生成能力 [10] - 视觉处理模块需数百TOPS算力处理多传感器数据融合 [10] - 语言理解模块在复杂交通场景语义理解时消耗大量计算资源 [10] - 动作规划模块涉及路径规划、行为预测等计算密集型任务 [10] 车载算力与数据中心算力对比 - 车载算力注重实时性与功耗平衡,需在有限空间和功耗下实现高效计算 [12] - 数据中心算力用于离线训练,能力是车载系统的数十至数百倍,可处理海量历史数据 [15] - 车载芯片如NVIDIA Orin、华为昇腾追求高能效比(TOPS/Watt) [12] 行业竞争格局与技术趋势 - 华为昇腾芯片系统算力达400TOPS,蔚来ET7搭载英伟达Orin平台(254TOPS) [17] - 英伟达下一代Thor芯片采用4nm工艺,基础版1000TOPS,增强版2000TOPS [20] - 小鹏G7采用三片自研图灵AI芯片,等效9颗英伟达Orin-X芯片 [20] - ADAS芯片市场份额:英伟达36%(年出货150万片)、特斯拉28%、华为11%、Mobileye 9%、地平线8% [20]