Workflow
小熊跑的快
icon
搜索文档
CPU:GPU不要纠结1:1 了
小熊跑的快· 2026-05-11 06:59
文章核心观点 - CPU与GPU在先进AI计算系统中的配比已经超过1:1,并且这一趋势将持续,未来对3纳米及以上先进制程的产能争夺将加剧 [1][3] 根据相关目录分别进行总结 AI计算系统硬件配置分析 - 在NVIDIA GTC大会展示的系统中,左右各8台Rubin NVL72机柜,每台内含72颗GPU和36颗CPU,总计包含1152颗GPU和576颗CPU [3] - 系统还包括两台CPU专用机柜,每台内含256颗CPU,合计为512颗CPU [3] - 系统还包含左右各五台Groq LPX机柜,每台机柜有32个U,每个U内含8颗LPU和1颗Intel CPU,因此每台机柜总计有256颗LPU和32颗通用CPU,十台机柜总计有2560颗LPU和320颗通用CPU [3] - 整个展示系统的CPU总量为1408颗,GPU总量为1152颗,CPU与GPU的配比达到1408:1152,已超过1:1 [3] 行业趋势与影响 - CPU与GPU在高端AI系统中的配比超过1:1已成为现实,这纠正了部分市场参与者认为该比例不会达到1:1的认知偏差 [1][3] - CPU:GPU配比超过1:1是未来大势所趋 [3] - 由于CPU和GPU都将采用3纳米及以上先进制程,未来对相关半导体产能的争夺将非常激烈 [3]
cpu深度系列(2):agent目前的token消耗量
小熊跑的快· 2026-05-09 08:00
Agent当前市场体量与份额 - 截至最新数据,Agent相关的Token消耗量约占全球大型语言模型总消耗量的30% [2] - 目前消费级对话应用仍占据约60%以上的流量,但Agent的增长速度是普通对话的4.5倍 [3] Agent未来增长预测 - 高盛预测到2030年,Agent将反超对话,占据总Token消耗的70%以上 [4] - IDC预测全球活跃AI Agent的数量将从2025年的约2,860万个激增至2030年的22.16亿个,增长近80倍 [10] - 到2027年,企业级Agent的使用量将增长10倍,企业运行的Agent数量将从普遍的2-5个增加至20-50个以上 [10] - 预计到2030年,Agent每年执行的任务数将从440亿个飙升至415万亿个,年复合增长率高达524% [10] - 根据MarketsandMarkets的数据,AI Agent市场规模预计从2025年的约78亿美元增长到2030年的526亿美元,年复合增长率约为46.3% [10] Agent的Token消耗特征与密度 - Agent的Token密度远高于普通对话,完成同一目标,其消耗量远超人工对话 [5] - 标准对话单次任务消耗约1,000个Token,内嵌Copilot消耗5,000+个Token,而自主Agent消耗可达100,000+个Token [5] - 微软研究院数据显示,Agent任务的开销通常是普通代码聊天或推理任务的1,000倍 [5] - 在Agent协作中,输入Token占大头,约为54%-60%,一项针对软件工程Agent的调查显示,53.9%的Token消耗来自于输入 [5] - 在代码评审等任务中,为修正一个Bug反复调用模型,单此阶段的Token消耗就占整个开发任务的59.4% [6] 驱动Agent增长与消耗的技术因素 - 从“人机对话”到“机机对话”的转变,一个编排器同时调度5-10个子Agent,这种指数级调用拉高了Token占比 [8] - 2026年MCP协议的全面普及将极大降低Agent调用外部工具的门槛,导致单次自动化任务的Token吞吐量暴增 [8] - 2026年后大模型走向强化学习路径,Agent在输出每个Token前会进行大量复杂的逻辑判断,这增加了对CPU核数的需求 [8] - 许多Agent的决策链是高度串行的,需要CPU具备极高的单核频率以降低任务延迟 [9] 细分领域增长与行业渗透 - 垂直领域Agent(如医疗、法律、金融)增速最快,预计2025-2030年间的年复合增长率高达62.7% [10] - 软件开发Agent预计年复合增长率为52.4% [11] - Gartner预测,到2030年,60%的供应链管理软件企业将采用Agentic AI功能,而2025年这一比例不足5% [12] 对计算硬件(CPU)的需求影响 - Agent数量的巨大增长将直接驱动对CPU核心数的需求,若按CPU核数与Agent任务数1:1的配比,核心数也需相应增长约80倍 [12] - CPU单代产品核心数提升通常在25%-50%之间 [13][14] - 以AMD EPYC处理器为例,核心数已从9004系列的96核推进至128核甚至192核 [15] - 若按每代核心数提升35%计算,从2026年至2030年经过三次代际提升,所需CPU颗数的年化增长率可能高达147% [15]
cpu 深度系列(1):核数与agent的关系
小熊跑的快· 2026-05-09 07:26
AI Agent推理场景中CPU角色的转变 - 在AI Agent推理场景中,CPU与任务的关系已由传统的“辅助调度”转变为“核心执行” [1] - GPU负责“思考”(模型推理),而CPU负责“行动”(逻辑编排、工具调用、环境隔离) [1] CPU核心数与Agent数量的配比关系 - 行业最新测评数据显示,CPU核心数与同时运行的Agent数量之间存在明确的对应关系 [2] Agent任务复杂度对CPU的要求 - Agent执行链路包含大量“非模型计算”环节,这些环节几乎全部由CPU承担 [4] - 工具调用与数据清洗(如API调用、JSON解析)需要CPU处理协议转换与数据格式化 [4] - 沙箱隔离环境的创建、维持和销毁需要CPU核心的计算与内存管理支持 [4] - 逻辑控制流(如任务拆解、自我反思)这类分支密集型任务是CPU的擅长领域 [4] - 多智能体协同导致并发进程数激增,物理核数不足会引起严重的上下文切换,使系统延迟从秒级跃升至十秒级 [4] Agentic AI时代的系统瓶颈与风险 - 系统的瓶颈正从GPU算力转移到CPU的并发调度能力 [4] - 当并发Agent数量超过物理CPU核心数临界点时,CPU忙于任务切换,会导致Agent响应出现显著“顿挫感”,即使GPU负载不满 [5] - 在长上下文Agent任务中,CPU需要频繁搬运内存中的键值缓存,核心数越多,数据并行的带宽和调度效率越高 [5] CPU性能的关键指标 - 对于Agent任务,CPU的单核睿频和L3缓存大小往往比单纯的核心数量更关键,这决定了单个Agent处理复杂逻辑的速度 [6] - CPU升级方向需重点考虑主频和缓存 [6] AI Agent的增长趋势 - 全球Agent月调用量指数自2024年第一季度后开始大幅上行 [7][9] - IDC预测,全球活跃AI Agent数量将从2025年的约2,800万个激增至2030年的超过22亿个 [9] - Gartner预测,到2026年底,将有40%的企业级应用集成任务特定型AI Agent,而2025年初该比例还不足5% [9] - GitHub数据显示,截至2025年,与AI相关的代码仓库已达到430万个,同比增长178%,其中绝大多数正向“智能体化”架构转型 [9] - 预测到2030年,Agent执行的任务年总量将达到415万亿次,复合增长率高达524% [9] 增长趋势对硬件的影响 - Agent数量的暴涨将对应导致所需的CPU核心数与频率暴涨 [10]
又是cpu之夜
小熊跑的快· 2026-05-08 21:49
CPU行业发展趋势 - 核心观点认为CPU核数的增长呈现爆炸式态势 [1] - 市场对相关需求的增长存在普遍低估 [1] 市场需求预期 - 分析师认为当前市场低估了CPU核数增长带来的需求 [1] - 相关研究成果将在短期内发布 [1]
最近海外对saas有点新变化
小熊跑的快· 2026-05-08 14:21
文章核心观点 - 自2024年10月“AI淘汰软件”观点提出以来,软件行业经历了长达一年半的下跌,平均跌幅达55%,但近期以高盛为首的部分机构开始对SaaS行业进行区别对待,并唱多部分SaaS软件 [1][2][4] 行业分类与影响分析 - 高盛等公司将SaaS软件区分为两类:面向消费者的编程软件(2C)和面向企业的业务流/基础软件(2B)[3] - 第一类2C编程软件(如代码外包公司)被认为将被AI直接编程工具取代 [3] - 第二类2B业务流/基础软件(如HR系统、底层数据库)强调高可靠性与低成本,当前AI智能体不擅长此类工作,因此这类SaaS公司可能在过去被市场“错杀”[3] AI应用的成本与性价比问题 - 在实际应用中,AI智能体执行十步动作所消耗的Token量,比通过传统聊天机器人逐步实现高出10倍,成本显著增加 [3] - 对于企业而言,自行开发AI智能体显得性价比不足,而由专业公司提供的AI智能体服务更具性价比 [3] 潜在受益公司类型 - 平台型、多业务线、广泛覆盖客户的公司(如NOW)被看好 [3] - 与基础设施相关的公司(如Datadog)被高盛认为前景更好 [3]
又进入抢产能阶段了
小熊跑的快· 2026-05-07 06:19
文章核心观点 - 市场传闻英伟达为台积电大幅提价以争夺先进制程与先进封装产能 这一消息被市场部分采信并推动了相关公司股价上涨[1] - 半导体行业投资逻辑正从“物料囤积”转向“产能争夺” 核心在于哪家公司能锁定更多的晶圆流片和CoWoS先进封装产能[1] - 晶圆制造厂及其产能已成为当前半导体产业链中最关键的瓶颈和卡点[1] 市场动态与投资逻辑演变 - 上个月光模块板块的上涨逻辑是基于各公司囤积或锁定的物料数量来对其市值进行定价[1] - 当前全球半导体行业的投资逻辑正进入新阶段 核心转向为各公司争夺到的晶圆流片和CoWoS先进封装产能定价[1] 产业链瓶颈分析 - 晶圆制造厂已成为半导体产业链中的第一卡点[1] - 半导体制造产能整体上已成为行业发展的首要瓶颈和制约因素[1]