Workflow
Scaling law
icon
搜索文档
李建忠:大模型技术创新驱动的 AI 生态和应用演进
AI科技大本营· 2025-04-24 11:39
【导读】历经八年 AI 浪潮,从感知到生成,再到智能体时代,人工智能正以惊人速度演进。CSDN 高级副总裁、Boolan 首席技术专家李建忠,在 2025 全 球机器学习技术大会上,绘制了一幅宏大的 AI 发展蓝图,并创造性地将其与生物智能演化史进行对比,揭示了"语言"在智能跃迁中的核心地位。跟随李建 忠的思考,洞见 AI 的过去、现在与激动人心的未来。 作者 | 李建忠 出品丨AI 科技大本营(ID:rgznai100) 大家好!回想起我在 2017 年创办全球机器学习技术大会( ML-Summit ),在各位的支持下一起陪着 AI 一路走了八个年头,非常感慨。八年来,整个 人工智能领域也发生了波澜壮阔的变化。接下来我想和大家分享一下我对大模型最新发展的一些研究和思考。 我把 AI 的发展阶段和地球上从生物智能到人类智能的发展阶段做了一个对比,发现一些非常有意思的规律。大家首先来看 AI 发展的四个阶段。 第一阶段: 1940 年代开启人工智能的元年, 整个人工智能从 1940 年代图灵提出计算机理论模型和神经网络的初始构想,到 1956 年达特茅斯会议首 次提出人工智能,此后人工智能进入符号主义、行为主义 ...
深度|微软CTO最新访谈: 我不相信通用Agent,未来是成千上万Agent协作的时代,聊天界面只是过渡的交互模式
Z Finance· 2025-04-19 14:31
AI可持续价值与行业趋势 - 下一代AI领域正处于技术范式转变初期,价值分布尚不明确但充满探索机会[3] - 模型需通过产品与用户需求连接才能实现价值,产品层将承载主要价值[6] - 初创公司与成熟企业将均衡分享AI价值,大公司需结合现有资源创新[6][7] - 当前工具和基础设施成本达历史低点,大幅降低创新门槛[7] Scaling Law与数据效率 - Scaling Law尚未见极限,边际收益递减的临界点仍不可见[8] - 高质量数据token价值远超低质量数据,合成数据占比持续提升[9] - 缺乏科学的数据评估手段,数据实际贡献与宣称价值常存在差距[10][11] Agent发展路径 - 未来12个月将出现更多异步任务型Agent,突破即时交互模式[21][22] - Agent记忆功能是下一阶段突破重点,需实现长期行为积累[21] - 不会出现"全能Agent",而是细分领域专业化Agent网络[18] - 5年内95%新代码将由AI生成,但核心设计仍依赖人类[23] 开源与闭源生态 - 开源与闭源将长期共存,类似搜索引擎领域的分层结构[15] - DeepSeek R1开源引发行业关注,显示中国AI实力被低估[37] 技术债务与工程变革 - AI有望将技术债务从零和问题转为非零和问题,实现自动修复[30][31] - 小团队+AI工具将释放更大能量,改变传统工程团队结构[28] 医疗AI应用前景 - AI诊断能力已超越普通全科医生,亟待规模化应用[38] 中国AI竞争力 - 中国AI研发能力被系统性低估,DeepSeek案例打破偏见[37] 开发范式演进 - 编程抽象层次持续提升,提示工程将成主流交互方式[25][26] - 图形界面构建工具的发展轨迹预示AI编程工具演进路径[25]
黄仁勋「组局」,具身智能的核心玩家们聊了聊人形机器人的落地与未来
Founder Park· 2025-04-16 20:56
核心观点 - 英伟达发布通用机器人模型GR00T N1 重点布局Physical AI领域 并召集行业核心玩家探讨人形机器人技术路径与数据问题 [2] - 机器人领域加速发展得益于三大因素:模型突破(多模态/推理能力)、数据获取方式革新(仿真技术)、硬件成本下降(价格从150万美元降至4万美元) [8][9] - 具身智能未来将走向通用模型 但需要解决数据多样性问题 真实环境数据收集至关重要 [14][16][17] - 行业对"一脑多体"技术路径存在分歧 硬件与软件协同进化是关键挑战 [20][21] - 预计3-5年内机器人将实现社会普及 专用机器人将早于通用机器人落地 [24][25] 技术突破 - 模型层面:大型基础模型(如LLM)的出现使三维视觉理解和开放词汇能力大幅提升 端到端模型简化了控制架构 [9][14] - 数据层面:GPU加速仿真技术可在3小时内生成相当于10年训练数据量 突破数据瓶颈 [9][18] - 硬件层面:执行器/传感器等核心部件商品化 硬件价格从2001年150万美元降至当前4万美元水平 [9][13] 行业趋势 - 数据获取:必须通过真实环境部署获取多样化数据 家庭/工厂等场景将成关键数据源 [12][17] - 技术路径:从"基于编程的经验"转向"通过经验学习" 形成数据飞轮效应 [10][12] - 产品演进:专用机器人先行商用(如Agility的Digit) 逐步向多任务/通用型发展 [25][26] 关键挑战 - 跨实体泛化:需建立"实体宇宙"概念 通过多样化硬件平台积累数据 目前零样本泛化仍不现实 [20][21] - 安全机制:必须内置安全性设计 传统控制方法与AI新技术的"工具箱"需协同使用 [15][22] - 幻觉消除:物理交互能力是纠正认知偏差的核心 需构建闭环反馈系统 [22][23] 商业化展望 - 短期(1-2年):专用机器人在物流/制造等垂直领域实现商业价值 [25] - 中期(3-5年):机器人社会渗透率显著提升 进入消费级市场 [24] - 长期(10年):可能引发类似电力普及的社会变革 形成数字物理劳动力网络 [24][26]
AI的尽头是电力!算力工厂成耗电大户,马斯克被控“非法发电”
证券时报· 2025-04-14 21:59
文章核心观点 马斯克创办的xAI公司因违反环境规定面临审查,凸显AI大模型面临的电力困境和环保难题,行业需在发展大模型同时降低能耗与碳排放 [1][6] 分组1:xAI超级计算机项目情况 - xAI于去年6月宣布在美国田纳西州孟菲斯建造超级计算机训练人工智能大模型Grok,同年9月部分上线即“Colossus” [3] - 孟菲斯超级计算机系统含20万个英伟达GPU,马斯克希望扩至100万个,项目预计成本达4.059亿美元 [3] - 今年2月18日xAI发布Grok 3,投入10万个英伟达GPU,计算量是前代10倍 [3] - xAI向MLGW申请300兆瓦电网电力,获150兆瓦供电许可,可满足10万个家庭用电 [3] 分组2:xAI“非法发电”情况 - 南方环境法律中心称xAI工厂安装多达35台甲烷气体涡轮机,总功率420兆瓦,远超申请的15台设备数量 [1][4] - 去年夏天xAI额外设置甲烷发电机未获许可,今年1月申请15台发电机临时供电许可 [4] - 南方环境法律中心指xAI设备违反《清洁空气法》,呼吁当地发紧急命令停用35台发电机,未遵守建议每日罚款2.5万美元 [4] 分组3:AI大模型能耗与污染问题 - 2022年全球数据中心和人工智能约消耗全球总用电量1.6%,到2026年用电量将达1.05万亿千瓦时 [6] - GPT - 3一次训练耗电量为1287兆瓦时,GPT - 4参数是GPT - 3的20倍,计算量是10倍,能耗大幅增加 [6] - 谷歌自2019年温室气体总排放量增长48%,2023年产生1430万吨二氧化碳,同比增长13%,归因于数据中心能源使用和供应链排放增加 [6] 分组4:行业应对措施 - OpenAI首席执行官山姆·奥特曼认为AI发展需在能源方面突破,应发展气候友好型能源,他向核聚变初创公司Helion Energy投资3.75亿美元 [7] - 行业人士认为应加强AI技术创新与优化,通过改进模型与算法、更新高效能硬件、优化数据中心设计等减少计算量,提高能效 [8] - 近年来模型压缩、剪枝、量化、异构计算芯片等新技术使AI推理单次能耗持续下降 [8]
OpenAI自曝GPT-4.5训练内幕:数据效率是关键,预训练仍然有用
Founder Park· 2025-04-14 19:34
GPT-4.5研发历程 - 项目启动于两年前,是OpenAI迄今为止最周密的计划,涉及数百人团队协作,几乎全员上阵[7][8] - 研发耗时远超预期,原计划耗时与实际相差甚远[16][17] - 目标为打造比GPT-4聪明10倍的模型,最终性能提升达到预期[16] 技术挑战与突破 - 10万卡计算集群暴露基础设施深层次故障,故障率高达40%进度才被发现[8][18][19] - 新一代硬件部署初期系统运行面临诸多未被充分认知的技术挑战[26] - 通过协同设计打造更强大技术栈,如今仅需5-10人即可复刻GPT-4级别模型[8][20] 数据效率与算法创新 - 未来AI发展关键从算力转向数据效率,需用相同数据学到更多知识[8][24] - Transformer架构在数据压缩方面高效,但洞察深度有限[24] - 算法改进产生叠加效应,每次提升10%-20%可显著提高数据效率[43] 模型训练范式转变 - 计算资源不再是主要瓶颈,数据成为制约因素[28] - 预训练模型性能提升可预测,但智能提升路径难以量化[31][32] - 1000万块GPU同步预训练可能采用去中心化模式,类似大脑各部分运作[42] 团队协作与系统优化 - 机器学习与系统团队密切合作,不存在工作界限[34] - 采用渐进式改进策略,严格验证每个改进在不同规模下的扩展性[35] - 理想系统尚未实现,当前仍需调和资源与理想化设计的差异[39] 理论基础与行业影响 - 智能本质是压缩,数据长尾效应让Scaling Law持续有效[47][48] - 预训练通过压缩数据发现抽象联系,与推理能力互补[45] - 无监督学习有效性基于压缩原理,更大规模训练带来更高压缩率[46][48]
AI Agent 摩尔定律:每7个月能力翻倍,带来软件智能大爆炸
海外独角兽· 2025-04-11 19:03
AI Agent 领域也存在 scaling law,甚至还在加速。 2022 年 ChatGPT 刚发布时能够实现的代码任务差不多等同于人类耗时 30s 的任务,到今天, AI Agent 已经能够自主完成需要人类花费一个小时的 coding 任务。"任务长度"是一个相当直观地测量 AI Agent 能力变化的标准。 编译:haozhen 编辑:Siqi AI 独立研究机构 META 的数据分析发现,Agent 能够完成的任务长度正以指数级增长,大约每 7 个 月翻一倍,预计 2029 年 Agent 能够完成时长为 1 个工作月的任务。 有意思的是,最近这一趋势甚至还在加速,2024-2025 年 Agent 能完成的任务长度约每 4 个月翻一 倍,如果这种更快的趋势持续下去,Agent 可能在 2027 年就能完成长达一个月的任务。 本文是对 META、Forethought 和 AI Digest 研究对于 agent scaling law 的整理编译。AI 研究人员们认 为,AI scaling law 的终局是 AI agent 自主开发 AI agent,到了那个时候我们就会进入软件智能爆炸时 ...
VLA是特斯拉V13的对手吗?
36氪· 2025-04-08 19:05
特斯拉FSD入华表现 - 特斯拉FSD在2月底进入中国市场,引发国内智驾企业高度关注[1] - 3月表现呈现两极分化:在上海陆家嘴误将公交车道当超车道狂飙,在广州塔误判施工警示牌为广告牌急刹,但在常规驾驶中展现出老司机水准,能准确避让非机动车并完成复杂动作[2] - 割裂表现源于特斯拉强大的底层AI技术支撑常规场景的丝滑体验,但端到端模型缺乏中国数据训练,无法理解特殊路况规则[4] 技术差异与行业焦虑 - 特斯拉FSD采用端到端模型,虽避免信息损耗但无法理解中国特殊路况[4] - 行业担忧特斯拉一旦补齐中国数据短板将形成强大竞争优势[5] - FSD V13被博世中国区总裁和元戎启行CEO评价为领先国内高阶智驾系统一个代差[9] VLA技术解决方案 - VLA模型融合视觉、语言和动作,通过摄像头+激光雷达收集信息,大语言模型分析路况,实现类人思维链[8] - 相比端到端模型的"看图说话",VLA实现"阅读理解"能力,能理解交通标志、行人意图及特殊车道规则[8][9] - 元戎启行CEO周光认为VLA是通向L5自动驾驶的转折点,构建了时空统一的认知框架[12] 国内VLA布局现状 - 理想采用MindVLA技术,决策准确率领先但需同时维护两套系统,研发成本高企[18] - 奇瑞联合华为、英伟达开发猎鹰智驾,计划2027年落地但世界模型预测能力尚未达标[18] - 吉利推出"千里浩瀚"系统,采用全域AI+天地一体策略[19] - 元戎启行已进入VLA量产阶段,预计年中上路,在技术迭代节奏上领先行业2-3年[19] 行业竞争格局 - 智能驾驶竞争焦点从工程化能力转向AI模型底层能力[25] - 元戎启行通过与高通合作实现多芯片平台适配,展现第三方方案优势[23] - 行业面临技术迭代窗口期挑战,后发者可能错失黄金发展时机[23] - 2023年特斯拉FSD BetaV12转向端到端架构曾颠覆行业认知,未满血版V13进入中国再次引发行业震动[24]
智谱发的「干活Agent」,不用邀请码
36氪· 2025-04-01 21:52
智谱AutoGLM新产品"沉思"发布 - 公司推出具有深度思考能力的AI Agent产品"AutoGLM沉思",免费上线并支持开放式问题探究与操作执行[3][4] - 产品能模拟人类思维过程,完成从数据检索、分析到生成报告的全流程,并支持多模态理解(图文网页)[4][5] - 展示用例包括具身智能行业研究、生成式AI技术影响分析、复古相机推荐等具体场景[4] 产品技术特性与竞品对比 - 相较于Manus强调"行动"可视化,"沉思"更突出思维链展示,展现模型理解-拆解-检索-解决的完整思考过程[9][10] - 当前预览版仅支持研究整理类任务(如输出代码),无法像Manus直接交付可操作成果(如网页游戏),需用户额外执行[12][13] - 技术架构整合三款新模型:GLM-4-Air-0414(语言理解)、GLM-Z1-Air(问题分析)、GLM-Z1(反思验证)[15] 商业化与行业趋势 - 公司提出"沉思大模型"概念,强调动态联网搜索、工具调用、自我验证等能力对突破传统AI局限性的价值[17] - 新模型GLM-Z1-Air推理速度较R1提升8倍,成本降至1/30,并支持消费级显卡运行,三款模型将于4月14日开源[18] - CEO认为未来应用形态将以模型为核心,产品化外壳变薄,模型能力直接决定产品能力[20] 公司战略定位 - 坚持预训练路线,认为强化学习等方法仍依赖基座模型天花板,预训练是必须持续投入的方向[20] - 提出Agent存在类似大模型的Scaling Law,推理计算扩展可提升性能[20] - 拒绝被标签化为To B公司,强调根据场景需求创造价值而非限定客户类型[25]
从DeepSeek R1的复现看深度思考模型的未来|ML-Summit 2025
AI科技大本营· 2025-03-31 14:55
备受瞩目的 2025 全球机器学习技术大会(ML Summit 2025)将于 4 月 18-19 日在上海虹桥西郊庄园丽笙大酒店召开。本次盛会由 CSDN & Boolan 联合主办,汇聚了超 50 位来自学术界和工业界顶尖专家,共同探讨智能体、联邦学习、多模态大模型等热门 AI 技术实践。 作为全球机器学习技术大会的老朋友,新浪微博首席科学家及 AI 研发部负责人张俊林将带来《从 DeepSeek R1 的复现看深度思考模型的未来》的精 彩分享。 张俊林作为「大模型技术拆解得最通透的实战派」,在 2024 年的机器学习技术大会上,他对 Gemini 多模态架构、OpenAI o1 技术的硬核拆解,让 开发者直呼"终于有人讲透技术本质"。 系统梳理技术脉络: 回顾 DeepSeek R1 开源后的各类复现研究,涵盖 SFT 阶段的轻量适配(如 S1)与 RL 阶段的创新实践。 深度解析训练范式: 重点剖析其核心的两阶段训练模式——如何通过冷启动微调结合多领域数据优化进行 SFT,以及如何运用 GRPO 强化学习 与全场景对齐实现模型"深度思考"能力的跃迁。 探讨关键技术问题: 尝试解答一系列备受关注的核心问 ...
世界怎么就「东升西落」了?聊聊二级市场与 DeepSeek+Manus 的热潮 | 42章经
42章经· 2025-03-30 22:25
东升西落叙事 - 美国市场从24年开始因AI领先和美元强势吸引全球投资,但Trump上台后政策调整引发宏观不确定性,导致股市剧烈震荡[2][3] - 中国市场24年股价开始回升,今年因DeepSeek发布彻底引爆,反映此前对科技行业预期过低的价值回归[5][6] - 中美AI发展路径差异显著:美国专注scaling law和AGI,中国聚焦应用落地和成本优化[8][9] 中美AI发展差异 - 美国AI发展路径依赖高成本投入(算力/数据),但模型能力提升不及预期[9] - DeepSeek通过工程优化大幅降低成本,实现更好性能输出,打破高成本叙事[9] - 中国AI应用注重覆盖更广泛用户群体,如Manus团队专注让未接触AI人群使用产品[10][11] 标志性产品分析 - DeepSeek开源模型使腾讯等公司跳过模型军备竞赛阶段,直接进入应用开发[26] - Manus采用脉冲式增长策略,通过Prosumer群体快速传播,但被误读为OpenAI对标对象[12][15] - Cursor等产品以极低市场成本实现高ARR收入,展示中国AI商业化路径优势[12] 二级市场表现 - 美国市场因前期AGI预期过高,当前面临预期调整;中国市场预期正从0开始填平[19][20] - 阿里云宣布增加AI Capex后股价上涨,反映市场对国内AI预期转向乐观[23] - 国内互联网公司从价值股重新获得成长股属性,AI推动估值逻辑变化[24] 产业趋势分析 - 推理芯片领域国内呈现"百卡齐放"局面,寒武纪等公司股价表现亮眼[28] - 专精特新企业通过技术突破和出海确立行业领先地位,如宁德时代[34] - AI推动产业趋势明确,但对中国资产重要性仍低于美国,需关注消费等宏观指标[35] 市场波动特征 - 板块轮动速度加快,信息传播和处理效率提升导致市场共识形成更快[37] - 高波动环境下企业经营策略可能转向蹭热点和讲故事[38] - 从业者对产业判断更精准,如云厂商CXO提前布局光模块投资[44] 投资机会展望 - 模型产业链价值、原生应用发展和垂直行业应用构成三大关注方向[43] - 生物医药、航空航天等非AI领域同样存在结构性机会[43] - 二级市场投资技巧可学习,但全职炒股可能导致认知密度下降[46]