Workflow
模型推理
icon
搜索文档
吴恩达年度AI总结来了!附带一份软件开发学习小tips
量子位· 2025-12-30 14:33
文章核心观点 文章总结了吴恩达提出的2025年几大核心AI趋势,认为行业正经历从模型能力、人才竞争、基础设施到应用范式的全面变革,标志着一个由AI驱动的新工业时代正在拉开帷幕[5][7][33] 2025最热AI趋势 趋势1:模型会推理正在成为标配 - “会推理”从少数模型的特权转变为模型的标配能力[7][8] - 其萌芽可追溯至“让我们一步一步思考”提示词的提出,后通过强化学习微调将推理能力固化到模型中[9][10] - 范式转变始于OpenAI的o1模型,首次将多步骤的智能体推理工作流内置到模型架构中,带来性能飞跃[12] - DeepSeek-R1的发布进一步证明了该模式的可复现与可优化,并以开源姿态提供了技术路线图[12] - 但研究也指出推理模型存在局限性:可能在超出特定复杂度时失败,且推理步骤可能遗漏关键决策信息[14][15] - 推理能力提升性能的代价高昂,例如Gemini 3 Flash启用推理消耗1.6亿Token(得分71),未启用仅消耗740万Token(得分55)[16] - 当前模型优化的核心战场是如何在不牺牲性能的前提下大幅压缩推理成本并提升响应速度[17] 趋势2:由Meta点燃的AI人才争夺战 - Meta的激进招聘策略将AI精英薪酬推至堪比职业体育明星的高度,彻底重塑了科技行业人才定价体系[19][24] - 自2025年7月宣布成立“Meta超级智能实验室”起,Meta为顶尖人才开出数亿美元薪酬包,CEO亲自游说[20] - 此策略引发顶级人才在巨头间流动加剧的连锁反应[21] - 这场“军备竞赛”背后是AI价值定位历经十余年的根本性跃迁,薪酬演变分为四个阶段:学术期(薪酬与普通软件工程师无异)、商业化初期(顶级薪酬跃升至50万美元)、大模型爆发期(顶级工程师年薪突破70万美元)、军备竞赛期(出现数亿美元级“球星合约”)[23][27] - 行业共识认为,对于志在参与AGI竞赛的公司,天价薪酬是战略性的必要开支[23] - 到2026年,人才争夺可能从单纯价格战演变为薪酬结构、文化认同与长期潜力的综合博弈[23] 趋势3:数据中心的火热标志着新工业时代的到来 - 数据中心正成为AI时代新的“钢铁厂”与“发电站”,其建设规模堪比国家级基建项目,标志着AI竞赛进入“重资产”工业时代[25][26] - 2025年,各大公司宣布了巨额数据中心建设计划:OpenAI启动耗资5000亿美元的“星际之门”项目;Meta今年基础设施投入约720亿美元,其中“Hyperion”数据中心价值270亿美元;亚马逊预计2025年投入1250亿美元[28] - 仅2025年一年,AI行业资本支出就超过3000亿美元,其中绝大部分流向数据中心建设[29] - 麦肯锡预测,为满足AI训练与推理需求,到2030年总投资额可能高达5.2万亿美元[29] - 数据中心热潮面临三大挑战:一是供需是否合理,贝恩咨询指出到2030年全球AI年收入需达到2万亿美元(超过六大科技巨头2024年收入总和)才能支撑投资;二是电力供应制约,已有数据中心因无法接入电网而闲置;三是市场回归理性,已有金融机构因担忧企业债务过高而退出百亿美元级别的融资项目[30][31] - 数据中心投资已产生实体经济拉动效应,2025年上半年美国GDP的增长几乎全部由数据中心和AI投资所贡献[32] 趋势4:智能体编程正在从“打辅”走向“主导” - 以AI智能体驱动的自动化编程正在彻底重塑软件构建的方式[7][34] - 到2025年,编码智能体在同类任务上的完成率已普遍突破80%[35] - 智能体已演变为能够规划任务、调用工具、审查代码并操控整个代码库的“数字工程师”[36] - 模型推理能力的进步为智能体注入了“灵魂”,使其能先“想清楚”再行动,并通过将复杂任务分解交由低成本模型执行来降低整体计算成本[37] - 此趋势催生了新行业,以Loveable、Replit为代表的初创公司让毫无编程经验的用户也能“一键生成”Web应用[40] - AI辅助编码正迅速变为“编码”行为本身不可分割的一部分[41] 软件开发学习建议 - 核心建议是保持持续学习,通过“知行合一”的方式精进技能[42][44] - 具体方法有三点:一是多参加人工智能课程,进行结构化学习,避免在不了解基础知识的情况下重复造轮子[45][47];二是必须动手实践,亲自构建AI系统,因为很多经验只能通过实践获得[45][48][49];三是在闲暇之余多读一些技术论文,这有助于提升竞争力[45][52]
英伟达史上最大的一次收购,也可能是最招骂的一次
36氪· 2025-12-30 09:45
收购事件概述 - 英伟达计划进行一项价值200亿美元的收购,目标是芯片制造商Groq,这可能是英伟达史上最大收购案 [1] - 该交易在科技圈引发广泛讨论,包括对垄断的担忧以及对Groq技术优势的分析 [3] - 英伟达并未公开承认收购,而是与Groq签署了一份非独家许可协议,授权使用其推理技术,但实质上通过“剥壳式收购”获得了其核心技术与关键人才 [22][23] 被收购方Groq公司背景 - Groq是一家成立于2016年的芯片公司,2024年估值已超过70亿美元 [3] - 公司创始人是Jonathan Ross,他是谷歌第一代TPU(张量处理单元)的设计师 [3] - 公司的核心产品是LPU(语言处理单元),这是一种专为加速AI计算、特别是语言模型推理而设计的新型专用芯片 [5][7] LPU技术路线与特点 - LPU技术路线独特,完全放弃了GPU的通用性,专门针对AI计算,特别是语言模型推理进行优化 [5][7] - LPU的一个显著特点是其架构中没有使用HBM(高带宽内存,即常说的“显存”)[7] - 为解决无显存带来的参数存储问题,LPU采用了SRAM(静态随机存取存储器)作为离计算核心更近的存储单元,但单卡SRAM容量极小,仅几十到几百MB [12] - Groq通过暴力组装成千上万张LPU卡组成集群,每张卡只存储和计算模型的一小部分参数,最后汇总输出,以此实现高速推理 [12] - 凭借此架构,LPU的数据存取速度据称能达到GPU的20倍以上,推理速度极快 [12] 市场表现与竞争对比 - 在模型推理业务的市场统计中,Groq已超过亚马逊,仅次于微软 [12] - 在英伟达GPU占据主导地位时,Groq的LPU曾展现出比行业龙头推理速度快10倍的潜力 [14] - 然而,也有看衰观点,如前阿里副总裁贾扬清的测算指出,使用LPU运营三年的采购成本是英伟达H100的38倍,运营成本是其10倍,认为LPU替代GPU为时尚早 [17] 行业趋势与战略意义 - 此次收购行为预示了AI行业的一大趋势:模型推理部署的需求将逐渐超过模型训练 [24] - 目前,训练成本占大型云计算公司数据中心支出的60%,但分析师预计到2032年,这一比例将降至20%左右 [25] - 行业需求正从不计成本训练模型,转向追求“又快又省”的推理芯片 [25] - 对英伟达而言,此次行动被视为补齐了其在非HBM架构上的短板,是对谷歌TPU技术路线的一种认可,也表明其意图通吃AI模型训练与推理整个算力市场 [25]
商汤分拆的AI芯片公司,为何全盘押注模型推理市场?
南方都市报· 2025-11-25 14:45
公司战略定位 - 公司全盘押注AI推理芯片市场,选择在推理芯片上进行单点突破,以缩短与英伟达的距离 [2] - 公司认为模型训练和推理在计算精度、内存架构等方面存在较大区别,一颗芯片难以兼顾训练效能与推理的经济性 [2] - 公司脱胎于商汤的芯片业务部门,于2024年底独立并完成第一轮外部融资,2025年7月宣布完成近10亿元的新一轮融资 [2] 产品与技术路线 - 公司已推出三代推理芯片:第一代S1芯片于2020年量产,累计销售超2万颗;第二代S2芯片从2024年9月起量产,实测性能接近英伟达A100的80%;第三代S3芯片于2025年5月立项,预计2026年点亮 [3] - 第三代S3芯片针对大模型推理定制优化,支持FP8和FP4低精度数据格式,将配置200G以上的显存及足够带宽,目标是在大模型推理部署成本上接近英伟达下一代Rubin架构芯片 [3] 市场环境与行业趋势 - 相较于训练芯片,推理芯片的设计难度和数据处理规模相对较低,成为众多国产AI芯片公司的竞争焦点 [4] - 随着预训练模型成熟和智能体及下游应用爆发,行业预见推理算力需求将在未来数年占据上风,进入“大模型下半场” [4] - AI芯片范式正向高性价比推理芯片变迁,高性能训练芯片市场发展空间小,而高性价比推理芯片是市场蓝海 [4] 商业化与生态策略 - 公司选择兼容英伟达的CUDA并行计算框架,以降低客户迁移成本 [5] - 公司通过资本投融资及深度业务合作,紧密绑定上下游企业,确保芯片从设计第一天起就有客户,从而获得反馈提高易用性 [5] - 公司背后的产业资本包括三一集团、第四范式、美的控股、游族网络等,并与商汤科技、世纪互联、超云、硅基流动等建立合作 [5] - 在优化推理芯片性价比方面,关键在于取得算力与显存带宽之间的平衡,避免在推理任务中浪费算力或带宽 [5]
腾讯云邱跃鹏:模型产业重心已向推理转变
第一财经· 2025-09-16 10:52
行业趋势 - 模型产业重心向推理转变 2025年进入训推拐点 推理需求超过训练 [1] - 预计到2028年将有33%的企业软件包含Agentic AI [1] 市场规模 - 国内企业级Agent智能体市场规模将达270亿美元以上 [1] 业务表现 - 腾讯ima的MAU月活跃用户在半年内增加80倍 [1] - 元宝回答高考志愿问题达1.5亿次 [1]
腾讯云邱跃鹏:模型产业重心已向推理转变
第一财经· 2025-09-16 10:28
腾讯ima用户增长 - 腾讯ima月活跃用户在半年内增加80倍 [1] - 元宝回答高考志愿问题达1.5亿次 [1] 人工智能行业趋势 - 模型产业重心向推理转变 2025年进入训推拐点且推理需求超过训练 [1] - 预计2028年33%企业软件将包含Agentic AI [1] - 国内企业级智能体市场规模将达270亿美元以上 [1]
联想申请一种模型推理方法及电子设备专利,可基于第三向量和目标向量确定推理结果
金融界· 2025-08-06 20:32
联想新专利技术 - 公司申请了一项名为"一种模型推理方法及电子设备"的专利,公开号为CN120430411A,申请日期为2025年04月 [1] - 专利技术涉及基于文本的向量处理,通过降低维度并增加头数来提高推理效率,最终生成与输入文本相对应的推理结果 [1] - 技术具体包括:确定待推理文本的第一和第二向量,处理第一向量生成维度更小但头数更多的第三向量,从缓存结构中获取目标向量,最终结合第三向量和目标向量得出推理结果 [1] 公司背景信息 - 联想(北京)有限公司成立于1992年,总部位于北京市,主要从事计算机、通信和其他电子设备制造业 [1] - 公司注册资本为565000万港元 [1] - 对外投资企业数量达107家,参与招投标项目5000次 [1] - 拥有商标信息1751条,专利信息5000条,行政许可238个 [1]
周鸿祎:360最近都采购华为芯片,国产性价比高
南方都市报· 2025-07-23 22:03
国产芯片与英伟达竞争 - 360集团近期采购华为芯片产品,认为国产芯片与英伟达存在差距但必须坚持使用以推动产品改进[1] - 英伟达H20芯片获准销往中国,更适合模型推理场景,而华为芯片在推理场景性价比高于H20[2] - 国产AI芯片在模型推理市场存在机会,因技术要求低于模型训练[2] DeepSeek模型发展 - DeepSeek在推理模型领域贡献显著,但6月首次出现月活用户负增长[2] - DeepSeek创始人专注AGI和大模型研发,未重点投入To C应用或流量运营[2] - 尽管应用流量下降,DeepSeek开源基座模型仍被云厂商和AI应用公司广泛调用[2] AI智能体发展趋势 - 开源模型性能提升推动AI智能体发展,智能体具备任务推理、规划和执行能力,成为AI落地关键方向[3] - AI Coding是智能体热门垂直方向,工程化能力如上下文工程和提示词工程发挥关键作用[3] - 智能体应走向专业化,结合行业建立技术壁垒,避免与大模型通用性竞争[3] - 360计划通过智能体优化市场部效率,未来不掌握智能体技术的人员可能被淘汰[3]
AI算力需求涌向模型推理,国产芯片站上竞技台了
第一财经· 2025-05-28 15:22
中国数据中心加速卡市场 - 2024年中国数据中心加速卡市场中34.6%是国产算力,预计上半年国产算力占比超四成[1][2] - 2022-2023年英伟达占据中国数据中心加速卡市场85%-90%,2024年其份额降至65.2%[11] - 国产算力占比可能在短期内超过50%,寒武纪、沐曦等国产芯片厂商开始进入主流应用[11][12] AI算力需求结构变化 - 2024年中国数据中心加速卡中57.6%是推理卡,33%是训练卡,DeepSeek推动推理需求增长[9] - 训练算力需求未减少但占比下降,推理芯片占比预计2025年进一步大幅增加[1][9] - 腾讯等企业反映推理token需求超预期,GPU资源无法满足现有AI需求[9] 智算中心建设动态 - 2024年中国加速计算服务器市场出货量同比增长97.3%,2025年预计增长52.9%[4] - 2024年国内智算中心中标信息213条,是2023年53条的4倍,显示建设明显加速[4] - 香港数码港超算中心算力将从1300PFLOPS提升至3000PFLOPS,第一阶段使用率超95%[6][7] 国产芯片应用突破 - 推理环节降低对芯片性能要求,国产AI芯片如华为、沐曦、壁仞等获得测试机会[10][12] - 寒武纪2024年Q1营收11.11亿元(接近2023全年),净利润3.55亿元实现扭亏[12] - 电信运营商建设基于国产算力的万卡集群,国产算力适配DeepSeek后利用率提升[8] 英伟达市场策略调整 - 英伟达在中国市场份额从95%降至50%,黄仁勋称出口管制存在根本性缺陷[13] - 拟推出采用Blackwell架构的新款中国特供AI芯片,定价低于H20以应对竞争[13] - H20芯片出口需许可证,英伟达面临国产替代加速的压力[11][13] 高校与企业算力需求 - 香港科技大学采购英伟达H800计算卡但仍需补充算力,高校采用混合云架构降本[5] - 华东理工大学将AI用于锂电池催化设计,私有云与公有云混合模式成为主流[5] - 企业AI应用处于早期尝试阶段,缺乏人才配套导致转型进度缓慢[7]