不找人聊，就能知道人在想什么？一群00后正在用AI改写调研行业。 2024年，一群平均年龄18岁的年轻人用约5000次AI对话（每次仅需30-90秒），便以接近零的成本，成功预测了美国纽约州民主党初选的结果，票数误差 不到400张。 不到两年，这群年轻人所创立的AI调研公司Aaru，已拿下埃森哲、安永和IPG等顶级合作伙伴，并在2025年底以10亿美元估值完成5000美元A轮融资。 这一切的背后，是一个简单到近乎狂妄的理念——用"无限模拟"取代"有限样本"。 Aaru的核心不是让AI变得更会"问问题"，而是让AI学会"当人"。他们训练了成千上万个AI智能体，每个都被赋予复杂的人口属性和行为认知模式，像一个 微缩版的真人。 当这些"合成人"在数字世界里相互作用，就能回答以前无法回答的问题，如人群面对新产品、新政策或新广告时的集体反应。 Aaru所代表的"合成行为"处于技术栈顶层，它正与其他"合成互动" （如Keplar、Outset） 与"合成数据" （如Gretel、YData） 的探索者，重塑价值800亿美 金的调研市场。 01 当AI Agents像人一样思考 当市面上大多数AI竞争者还在围绕"如何更高效 ...

近日，美国AI合成研究公司Aaru完成新一轮融资，融资规模超过5000万美元（约合人民币3.5亿元），本轮由红点创投领投，AngularVentures、 GeneralCatalyst等跟投。此次融资采用分层估值方式，部分股份以10亿美元（约合人民币70.7亿元）的名义估值成交，实际估值略低于该数值，旨在兼顾 对外宣传与投资者优惠条款。 Aaru成立于2024年3月，核心技术是基于真实人口与行为数据训练数千个能够模拟人类行为的AIAgents，用于预测特定人群或地域对事件的反应。其产品 线覆盖企业（Lumen）、政界（Dynamo）和公共部门（Seraph）三大场景，帮助用户在选举、民调、市场洞察等领域实现高效、低成本的数据分析。 | Ned Koh Simulating the future @ Aaru. | Cameron Fink | | --- | --- | | | Predicting everything @ Aaru | | 工作经历 | 工作经历 | | Co-Founder | Co-Founder and CEO | | Aaru · 全职 | Aaru · 全职 | | 2024年 ...

行业核心观点 - 国泰海通证券给予电子行业“增持”评级 [1][2] - AI创造的庞大数据量冲击全球数据中心存储设施 [1][2] - 基于SSD的存储卸载技术方案可为AI模型高效运行提供新路径 [1][3] 技术挑战：KV Cache与内存瓶颈 - 键值缓存（KV Cache）技术通过存储已生成token的Key和Value来优化计算效率、减少重复运算，显著提升推理效率 [2] - 随着Agentic AI时代到来，模型规模化扩张、长序列需求激增以及推理任务并发量增长，推理的KV Cache容量增长已超出HBM的承载能力 [2] - KV Cache需要占用GPU的显存（如HBM），生成的文本越长，缓存数据量越大，可能导致HBM和DRAM超载，造成频繁的内存溢出和卡顿迟缓 [2] 解决方案：存储卸载技术 - 业界探索KV Cache分级缓存管理技术，支持将KV Cache缓存从GPU内存卸载到CPU、SSD甚至网络存储，以解决大模型显存瓶颈 [2][3] - 英伟达推出的分布式推理服务框架Dynamo支持KV Cache卸载，其KVBM提供从GPU memory到CPU host memory、SSD、远端存储的卸载，避免大量KV Cache重计算 [3] - 三星电子提出基于SSD的存储卸载方案，将KV Cache卸载至NVMe SSD，可使首token延迟（TTFT）最高降低66%，token间延迟（ITL）最高降低42% [3] 市场趋势：存储设备更替 - 传统作为海量数据存储基石的Nearline HDD已出现供应短缺，促使高效能、高成本的SSD逐渐成为市场焦点 [1][2][4] - AI推理应用推升实时存取、高速处理海量数据的需求，促使HDD与SSD供应商积极扩大供给大容量存储产品 [4] - 由于HDD市场面临巨大供应缺口，NAND Flash业者加速技术转进，投入122TB、甚至245TB等超大容量Nearline SSD的生产 [4]

公司融资与估值 - AI芯片初创公司Groq宣布完成一笔7.5亿美元（约合人民币50亿元）的最新融资，融资后估值为69亿美元（约合人民币490亿元）[3] - 本次融资额超过了7月间的传闻，当时报道称融资额约为6亿美元，估值接近60亿美元[3] - 在短短一年多的时间里，公司估值从2024年8月D轮融资时的28亿美元翻了一倍多[3] - 本轮融资由Disruptive领投，并获得了贝莱德、Neuberger Berman集团有限责任公司和德国电信资本的"重大投资"，以及包括三星电子、思科、D1 Capital和Altimeter在内的现有投资者的出资[3] - 据PitchBook估计，Groq迄今已融资超过30亿美元[11] 行业发展与市场趋势 - 全球AI芯片市场正处于高速增长期，2023年市场规模为231.9亿美元，预计至2029年将以31.05%的复合年增长率攀升至1175亿美元[4] - 随着大语言模型从研发走向应用，AI产业重心正从训练阶段转向推理环节[4] - 英伟达2024财年第四季度数据中心GPU收入的40%来自推理处理[4] - 英伟达仍占据全球AI云端训练市场80%的市场份额[18] 公司技术与产品 - Groq以生产优化预训练模型的AI推理芯片而闻名，所开发的芯片被称为语言处理单元（LPU），与通常用于AI系统的图形处理单元（GPU）有着显著区别[7] - 公司致力于打破英伟达的垄断，其产品面向开发者和企业，提供云服务或本地硬件集群两种形式，能够以比其他同类产品低得多的成本维持AI性能[8] - Groq宣称LPU能实现每秒数百token的生成速度，远超常规GPU的推理速度，芯片更强调低延迟和稳定响应，适合对话、搜索、Agent等交互式AI应用，能效比高[15] - 公司不是通用GPU，而是专门为transformer类推理计算设计的芯片，优势在于极高的吞吐和极快的推理速度[15] 公司业务与战略 - Groq由一群前谷歌工程师于2016年创立，创始人乔纳森·罗斯在谷歌工作期间负责开发TPU芯片[7] - 公司提供云服务或本地硬件集群两种形式，可以运行热门模型的开放版本，例如Meta、DeepSeek、Qwen、Mistral、Google和OpenAI的模型[8] - 2024年2月，Groq推出了开发者平台GroqCloud，吸引开发者使用Groq API并租用其芯片的访问权限[8] - 一个月后收购了Definitive Intelligence，以完善其云平台[8] - 9月，公司宣布和中东石油巨头阿美公司的数字和技术子公司签署了一份谅解备忘录，宣称要"在沙特阿拉伯王国建立世界上最大的推理数据中心"[8] - 在商业模式上，Groq自建数据中心，将LPU组成服务器集群，提供云端推理算力租用服务，使得客户无需采购硬件即可尝试服务[9] 公司成长与用户基础 - Groq为超过200万名开发人员的AI应用程序提供支持，而一年前这一数字为35万，用户增长速度迅猛[14] - 公司从2017年获得1000万美元的种子资金开始，经过多轮融资，在2021年4月的C轮融资中筹集了3亿美元，估值超过10亿美元，正式跻身独角兽行列[11][12] - 2024年8月，在由贝莱德私募股权合伙人领投的D轮融资中，Groq筹集了6.4亿美元，公司估值达到28亿美元[13] 竞争格局与挑战 - Groq需要从零建立工具链和开发者社区，而英伟达的CUDA生态是其巨大护城河[16] - 公司当前优势主要体现在中小规模模型推理，大规模模型支持能力仍待验证[16] - Groq的性能数据部分来自于在较旧工艺节点（如14nm）实现的高效设计，如果想在大规模商业化中与英伟达抗衡，必须进入更先进的制程（如4nm），这需要更大资本投入和代工厂资源[16] - 企业对英伟达软硬一体化方案有一定的依赖度，迁移成本不低[16] - 专注大模型训练的Cerebras已提交IPO申请，计划融资10亿美元，估值达80亿美元，共同构成对英伟达的差异化包围[17]

AI推理性能瓶颈 - 传统Scaling Law遇到明显瓶颈 企业开始关注模型推理性能体验以推动商业落地和变现 [1] - AI推理算力需求已超过训练 GPT-5开放首周API调用量超20亿次/分钟 70%请求为复杂推理任务 火山引擎日均token调用量达16.4万亿 70%以上来自线上推理 [4] - 长文本处理 多轮对话以及复杂业务流程的推理需求日益增长 对推理性能要求愈发严苛 [4] 中国AI推理困境 - 基础设施投资仅为美国十分之一 面临算力卡阉割 HBM涨价禁运等困境 [1][6] - 国外主流大模型输出速度达200 tokens/s（时延5ms） 国内普遍小于60 tokens/s（时延50-100ms） 最大差距达10倍 [7] - 海外模型支持100万级Token上下文窗口 国内头部模型仅50万 长文本分析中遗漏关键信息概率超50% [7] 键值缓存技术挑战 - KV Cache需占用GPU显存存储历史Key/Value向量 长文本生成会挤爆HBM和DRAM [6] - Agentic AI时代到来导致KV Cache容量增长超出HBM承载能力 频繁内存溢出造成推理"失忆"和卡顿 [6] - 中国企业无法无限制堆卡 面临出口管制无法获得最先进算力卡和HBM [6] 华为UCM技术突破 - 通过分级缓存管理在HBM DRAM SSD等存储介质中按数据热度缓存 扩大推理上下文窗口10倍 [10][15] - 采用注意力稀疏技术识别KV Cache数据重要程度 分层分级缓存并流动 降低向量数量提升吞吐量 [17] - 将历史已处理结果缓存至外置共享存储 首token延迟降低90% 节省token by token时间 [13] 性能提升与成本优化 - 长序列场景下TPS提升2-22倍 降低每Token推理成本 为企业减负增效 [17] - 维持算力投入不变 仅增加小部分外置存储投资 改善推理效率并摊薄成本 [18] - 推动形成"用户体验提升-用户增长-企业加大投资-技术迭代"的正循环 [18] 金融场景应用验证 - 与中国银联合作解决长序列输入 并发时延和算力耗费三大核心难题 [19] - 在"客户之声"业务场景推理速度提升125倍 10秒精准识别客户高频问题 [21] - "营销策划"场景生成时间从数分钟缩短至10秒内 单台服务器支持超5人同时在线协作 [21] 技术开源与生态建设 - 华为宣布9月开源UCM 包含推理引擎插件 功能库和高性能存取适配器三大组件 [26] - 开放统一接口适配多类型推理引擎框架 算力及存储系统 推动生态繁荣 [28] - 差异化在于将专业存储纳入 通过软硬协同和算法库贡献丰富可靠的加速算法 [26] 行业意义与发展前景 - 降低对HBM依赖 将HBM优势发挥在更合适地方 填补中国AI推理生态关键环节 [18][26] - 解决Agentic AI时代显存不足和推理Token成本问题 可应用于千行百业 [23] - 推动中国AI产业进入良性商业正循环 为长远发展注入更强动力 [28]

英伟达增长前景 - 公司手握"数十千兆瓦"AI基础设施项目，保守估算价值超过1万亿美元，数据中心收入有望在2-3年内达到每年4000亿美元，是当前市场预期的两倍 [1][2] - AI数据中心建设热潮预计持续至2026年第二季度，行业正从周期性繁荣转向指数级基础设施扩张模式 [1][6] - AI基建被视为数字时代的"罗斯福新政"，以GPU和兆瓦电力为核心重塑美国基础设施 [1] 万亿美元项目分析 - 按20千兆瓦保守估算和每千兆瓦400-500亿美元定价，潜在项目总收入至少1万亿美元 [2] - 仅Crusoe一家开发商就拥有约20GW项目管道，显示行业增长潜力巨大 [2] - 项目将在2-3年内推出，每年可带来约4000亿美元数据中心收入，远超2026财年预期2330亿美元 [2] GB200机架与网络业务 - 超大规模客户平均每周部署近1000个NVL72机架（含72000个Blackwell GPU），产能将持续提升 [3] - 网络收入Q1达50亿美元（环比+64%），其中10亿美元来自NVLink收入增长，与NVL72机架出货强相关 [3] - 每个NVL72系统含72个GPU的NVLink域，显著高于HGX系统的8个GPU配置 [3] 游戏业务表现 - Q1游戏收入环比增长近50%，主要由渠道补库存驱动，而非显卡转用其他市场 [4][5] - RTX 50系列GPU因技术限制（PCIe架构、不支持NVLink）难以被转用于数据中心 [5] - Blackwell供应初期优先保障数据中心，游戏渠道仍面临短缺 [5] 毛利率与长期驱动力 - Blackwell盈利能力改善和成本下降将推动2026财年末毛利率回升至75% [6] - GB300预计Q2确认少量收入，Q3开始放量，基于价值定价（硬件+软件叠加）是毛利率关键 [6] - Dynamo等软件方案可将硬件推理速度提升30倍以上，强化定价能力 [6]

公司战略与市场定位 - 公司正在从GPU计算公司转型为数据中心规模化公司 提供可拆分集成的全栈技术解决方案[5][6] - 面向两类核心客户群体：超大规模云服务商和企业级IT客户 采取差异化产品策略[2][37][38] - 提出"AI工厂"概念 将数据中心视为新型产业基础设施 预计市场规模将达50万亿美元[6][36][39] 技术架构与产品创新 - Dynamo系统是关键突破 作为AI工厂操作系统实现推理任务智能调度与资源分配[42][45][50] - 全栈解决方案设计具有模块化特性 客户可选择部分组件或全套系统[60][61] - Grace Blackwell架构实现40倍性能提升 预计未来五年处理速度将提升10万倍[51][53] 全球市场与政策挑战 - 中国市场年规模达500亿美元 当前政策导致55亿美元库存报废和150亿美元销售损失[29][32] - AI Diffusion Rule政策被指适得其反 可能削弱美国技术领导地位[14][17][18] - 与沙特阿拉伯和UAE合作建设AI基础设施 推动能源经济向数字劳动力转型[10][11][12] 行业趋势与生态发展 - AI将突破传统IT预算范畴 进入制造和运营预算领域 市场规模扩大50倍[36][39] - 物理机器人和数字劳动力将缓解全球用工短缺 推动GDP增长[36][40] - GeForce技术仍是核心基础 支撑RTX PRO Omniverse等创新产品[63][65] 竞争格局与技术壁垒 - 中国拥有全球50%的AI研究者 华为等企业具备世界级技术实力[16][17] - 全栈技术体系构成竞争壁垒 单一环节限制无法阻止技术发展[14][18][32] - 性能功耗比成为关键指标 直接影响数据中心建设的经济性[56][57]

核心观点 - NVIDIA正在从传统的GPU计算公司转型为AI基础设施公司 重新定义数据中心为"AI工厂" 这些工厂将驱动一个全新的AI产业 [6][8][34] - AI技术栈是全栈体系 包括芯片 工厂 基础设施 模型和应用等多个层面 美国当前的AI技术出口管制政策存在严重缺陷 可能削弱其领先地位 [14][16][18] - 中国市场对NVIDIA至关重要 年规模约500亿美元 放弃该市场将损失巨大收入并促使中国建立替代生态系统 [23][28][29] - AI将推动全球经济扩张 数字劳动力和机器人可能在未来5-10年内显著提升GDP 创造新产业 [34][35][48] AI战略与全球竞争 - NVIDIA与沙特阿拉伯和阿联酋合作建设AI基础设施 这两个国家正将经济模式从能源驱动转向数字劳动力驱动 [12][13] - 中国拥有全球50%的AI研究人员 华为是世界级科技企业 限制措施反而刺激中国加速自主创新 [15][16][30] - AI技术扩散应加速而非阻碍 计算平台越大越强 吸引的开发者越多 形成正向反馈循环 [17][18] - 美国当前的芯片出口管制政策可能导致放弃90%的中国市场机会 错失规模效应和生态系统建设 [23][29] AI经济影响 - AI将首次跳出IT预算范畴 进入规模达50万亿美元的制造和运营预算领域 远超1万亿美元的IT行业规模 [34] - 数字劳动力和机器人将解决全球劳动力短缺问题 雇佣年薪10万美元的AI助手将成为企业自然选择 [35][39][40] - AI工厂的经济模型显示 架构性能不足即使免费也不够便宜 需要全面优化性能功耗比 [53] - 未来5年AI处理速度可能提升10万倍 推动Agentic模型成为标准配置 [47][48] 技术架构与产品战略 - NVIDIA提供全栈解决方案但保持模块化 客户可选择完整系统或单独组件 这种灵活性是关键竞争优势 [40][56] - Dynamo是AI工厂的操作系统 将推理任务智能分发到数据中心各处理器 实现资源最优配置 [41][42][46] - 公司坚持构建整体更优的系统 拥有3.6-3.8万名员工专注加速计算和AI计算领域 [57] - GeForce仍是核心技术基础 支撑RTX PRO Omniverse和机器人等产品发展 [58][59] 市场定位与客户策略 - GTC主题演讲面向超大规模计算企业 而Computex演讲针对企业IT客户和制造商 体现不同的市场定位 [35][37] - 公司采取务实的企业销售策略 既欢迎客户采购全栈方案 也支持仅购买部分组件 [55][56] - 驱动程序开源但维护难度大 公司通过为每代GPU优化驱动来构建良好的软件抽象层 [60][61] - 台湾生态系统在产业链各环节都具有关键作用 公司专门制作视频展示其价值 [38]

英伟达在中国市场的挑战 - 英伟达在中国市场份额从4年前的95%下降至50%，中国本土技术公司抢占剩余份额[1] - 美国芯片管制政策导致公司面临55亿美元库存损失，主动放弃150亿美元销售额和30亿美元税收[2] - 限制政策可能促使中国构建非美国的AI生态系统，威胁英伟达CUDA平台的市场地位[1][2] 全球AI竞争格局 - 美国对华芯片限制政策可能促使中国发展替代技术，形成独立生态系统[2] - 全球AI发展不应是零和游戏，竞争应通过自身技术进步而非打压对手[2] - 中国渴望成为AI强国的目标值得尊重，技术领导地位可能在全球扩散[2] AI对全球经济的影响 - AI将推动行业从1万亿美元IT市场扩展到50万亿美元的全球资本和运营支出市场[3] - 具身机器人可能扩大全球GDP，解决劳动力短缺问题[3] - 以10万美元年薪雇佣机器人将提高企业创造收入的能力，未来5-10年可能形成新行业[4] 算力架构与token经济 - 数据中心价值取决于用有限能源生成尽可能高质量的token[5] - AI工厂需处理帕累托分布的token需求曲线，同时满足基础服务和复杂任务需求[7] - Dynamo系统通过智能分配数据中心资源，使token生成更高效，成为"AI工厂操作系统"[7][8] 技术发展方向 - 大模型推理是包含预填充(依赖浮点计算)与解码(依赖带宽)的链式过程[8] - 英伟达Dynamo系统可处理差异极大的需求，使数据中心像"超级GPU"一样调度资源[8] - 公司三年前开始布局机器人技术，预计几年内将实现真正落地[3]

AI经济与Tokens化 - Tokens作为新型"货币"用于检索或生成信息 推动AI经济发展 但需要大量算力支持[2] - AI推理模型复杂度提升 对准确性要求更高 需遵循预训练 后训练和测试时扩展三条定律[2] - 进入Agentic时代 组织机构需在训练到推理全流程中遵循扩展流程以实现高效推理[2] NVIDIA技术栈创新 - 公司提供完整AI技术栈 涵盖芯片 系统和软件 以最高效率加速和扩展AI[4] - 技术栈覆盖Agentic AI和Physical AI领域 芯片路线图从计算到硅光子学均有重大发布[4] - 软件专业技术是最大优势 促使高性能芯片广泛应用 与竞争对手差距持续拉大[32] 芯片产品与技术 - 产品组合包括CPU GPU和网络设备 最新Blackwell平台GB300 NVL72性能提升1.5倍[6] - Rubin系列GPU采用FP4精度 性能达50-100 petaFLOPS 配备288GB-1TB HBM4存储器[6] - Vera CPU性能是Grace的两倍 功耗仅50W 更新节奏为每两年一次[6] - 光谱-X硅光子学产品可节省数兆瓦电力 解决横向扩展至数百万GPU的瓶颈问题[9] 系统解决方案 - Blackwell Ultra DGX SuperPOD配备36个Grace CPU和72个Blackwell GPU AI性能比Hopper高70倍[10] - DGX Spark个人超级计算机系统性能达1 petaFLOPS 适用于微调与推理[13] - 系统发布为Dell Lenovo等供应商提供强大AI解决方案基础 直接冲击苹果Mac Studio市场[13] 软件平台 - Dynamo开源框架提升AI推理效率 运行DeepSeek-R1模型Tokens生成能力可提升30倍[19] - Halos平台整合安全系统 覆盖从芯片到算法全流程 吸引众多汽车厂商采用[20][21] - CUDA-X拥有超百万开发者 成为最受欢迎的AI编程工具包 拓展至各行业应用[26] - Aerial平台开发原生AI 6G技术栈 涵盖从无线电设备到网络数字孪生的端到端方案[25][26] 新兴领域布局 - Isaac GR00T N1是全球首个人形机器人基础模型 采用双系统架构模拟人类决策与反射[29] - 与谷歌DeepMind和迪士尼合作开发开源牛顿物理引擎 提升机器人处理复杂任务能力[29] - Omniverse-Cosmos平台通过合成数据训练机器人 在不同场景中微调行为[29]