Scaling What的阶段性探索 - 自2024年起Scaling范式发生转移，预训练环节的Scaling Law边际效益递减且文本数据受限，行业开始探索「Scaling What」的新目标[3] - 业界对「预训练Scaling Law收益递减」达成共识，OpenAI、Anthropic等团队仍保持乐观但转向寻找正确的Scaling对象[4] - 新研究方向包括Densing Law、「50%任务完成时间」等替代性评估指标，以及Self-Play RL+LLM、Post-Training Scaling Law等技术路线[4] 推理阶段计算优化（TTS）的兴起 - 谷歌DeepMind 2024年8月首次提出通过增加推理时计算提升模型输出质量，OpenAI o1模型和DeepSeek-R1的GRPO技术进一步验证该方向[4][5] - 2025年5月学术综述将此类技术统称为TTS（Test-Time Scaling），提出What-How-Where-How Well四轴分类框架，显示研究重点从预训练转向推理优化[6] - TTS应用范围从数学推理扩展到开放式问答，方法从重复采样演进为混合扩展和内部扩展策略[6][7] 四大Scaling技术路线 - Parallel Scaling：通过并行生成多个输出并聚合答案，依赖覆盖度和聚合质量，实现方式包括多模型采样和输入调整[9] - Sequential Scaling：模拟人类系统2思维，通过逐步更新中间状态分步骤解决问题[9] - Hybrid Scaling：结合并行生成与序贯筛选，先迭代候选解再通过选择函数聚合[9] - Internal Scaling：模型自主分配推理计算资源，如OpenAI-o1模仿人类长推理链[10] 后训练技术的范式重构 - 传统观点认为预训练奠定基础能力，微调（指令微调/SFT/RLHF）负责领域适应[11] - 当前趋势显示微调与推理优化（TTS）在后训练阶段具有同等重要性，共同塑造模型最终性能[6][11] 注：原文中未提供具体财务数据或公司运营细节，故未包含相关分析

强化学习范式革新 - 强化学习(RL)成为AI模型性能提升的新范式 尤其体现在DeepSeek-R1和R1-Zero模型的突破性进展上 [2][3][20] - 传统预训练Scaling Law面临数据耗尽危机 Ilya Sutskever预测互联网数据作为预训练燃料的时代即将终结 [16][19] - 模型改进形成三支柱框架：预训练Scaling 测试时间计算(TTC) Scaling 强化学习微调Scaling 其中RL可形成自我改进闭环 [25][26] DeepSeek技术路径 - 创新性采用GRPO(组相对策略优化)替代PPO 移除价值模型和复杂奖励系统 计算开销降低50% [44][45][46] - R1-Zero完全摒弃监督微调(SFT) 通过硬编码验证器实现纯强化学习训练 但输出可读性差 [35][37] - R1模型分四阶段优化：冷启动SFT→GRPO→拒绝采样SFT→RL微调 平衡推理能力与人类可读性 [52][54][56] 去中心化应用潜力 - 训练场(Training Grounds)模块最具去中心化价值 可分布式生成数学/物理/编程等领域的验证型推理数据 [73][74][77] - PETALS框架实现模型层分布式托管 支持8位量化通信 176B参数模型可在消费级GPU协作推理 [92][94][98] - RL Swarm架构实现策略模型P2P协作学习 在Qwen-2 5B模型实验中输出质量提升30% [102][103][104] 硬件与算法协同 - FP8量化技术大幅降低内存需求 4000系以上NVIDIA显卡可支持 促进异构硬件参与 [84][87][89] - DiPaCo路径分片技术使MoE模型训练分布式成为可能 150M参数路径可匹配13B密集模型效果 [99][101] - 模块化专家系统(如HDEE)预示未来方向 异构领域专家可并行训练后集成 [106][107] 行业生态演进 - Hugging Face启动Open R1项目 旨在完全开源复现R1技术栈 [109] - Prime Intellect通过SYNTHETIC-1项目尝试分布式复制R1训练流程 [109] - 谷歌DeepMind与哈佛合作证明8位量化PPO训练速度提升1 5-2 5倍 [87]

报告行业投资评级 未提及 报告的核心观点 - DeepSeek在训练和推理成本上有显著优势，引发科技股大幅波动，短期内冲击英伟达股价，但长远看随着AI技术普及和商业化加速，英伟达芯片需求可能进一步增长，AI产业将迈向新阶段 [2][3][16] 根据相关目录分别进行总结 DeepSeek引发市场波动 - 1月27日，DeepSeek在中国区和美国区苹果App Store免费榜登顶，美国科技股市场大幅下跌，费城半导体指数下跌9.2%，英伟达股价下跌近17%，市值蒸发近6000亿美元，WTI原油价格盘中一度下跌3% [2] DeepSeek成本优势 - 训练成本方面，DeepSeek使用约2000张H800 GPU训练，V3模型训练成本不超过600万美元，预训练阶段每万亿Token训练用2048个H800 GPU集群，180K个GPU小时（约3.7天）完成，总耗时约2788K GPU小时 [5][6] - 推理成本方面，OpenAI的o1模型每百万输入和输出Token分别收费15美元和60美元，DeepSeek的R1模型相同输入和输出价格仅为OpenAI的3%，DeepSeek推理成本API报价每百万Token输入成本仅1元 [3][7] DeepSeek低成本训练实现方式 - DeepSeek团队创新训练策略，在监督微调环节优化，最初尝试跳过SFT步骤仅用强化学习训练，引入少量冷启动数据提升稳定性和推理能力，R1系列模型摒弃RLHF中的人类反馈部分 [9] - 为解决纯强化学习训练文本中英混杂问题，用数千条链式思考数据微调V3 - Base模型，再启动强化学习流程生成样本数据微调得到R1模型，降低成本同时提升推理和语言生成质量 [10] DeepSeek对AI产业影响 - 对依赖自研大模型构建商业模式的公司影响更显著，如引发Meta内部AI团队担忧，Meta成立小组分析其技术原理并计划用于Llama模型优化 [12] - 美国大型科技企业以保持技术领先为首要目标，虽可能借鉴DeepSeek方法优化成本，但不会作为核心战略，现阶段大语言模型发展需大量算力，未来其他机器学习模型也可能有巨大算力需求 [13] - 英伟达认为DeepSeek成果会增加市场对其芯片需求，依据杰文斯悖论，技术进步降低资源使用成本会使市场对资源总体需求上升 [14] - DeepSeek降低大语言模型开发门槛，促使更多中小型企业和个人训练私有模型，若引发推理需求“第二波”增长，增量需求将远超AI巨头减少的GPU采购量，且商业化后推理环节算力消耗更大 [15]

技术发展 - OpenAI在12月开启为期12天的密集发布活动，包括推出完整版o1模型、每月200美元的ChatGPT Pro、视频生成模型Sora等 [2] - 大模型行业面临能力提升瓶颈，Google、OpenAI、Anthropic等公司在开发下一代模型时未能实现前几年的显著性能跃升 [4][5] - OpenAI尝试用合成数据训练新模型Orion但效果不理想，同时行业探索更高精度数据、后训练优化等新方向 [16][17][18][19] 市场竞争 - OpenAI企业市场份额从50%降至34%，Anthropic份额从12%增至24% [22] - xAI以500亿美元估值融资50亿美元，Anthropic获亚马逊追加40亿美元投资，Writer以19亿美元估值融资2亿美元 [27] - 视频生成领域竞争加剧，Runway上线新功能，腾讯开源对标Sora的HunyuanVideo模型 [25][26] 算力竞赛 - 亚马逊、微软、Meta、Google四家公司今年资本支出超2000亿美元建设算力中心，并计划加大投资 [28] - Anthropic CEO预测2026年将出现耗资超100亿美元的算力集群，OpenAI提议建造千亿美元级数据中心 [28] - 英伟达加速产品迭代，计划2025年发布机器人专用芯片Jetson Thor [35][37] 应用落地 - ChatGPT周活用户达3亿，企业生成式AI支出飙升500%至138亿美元 [38] - AI编程成为竞争焦点，GitHub Copilot生成微软近半启动代码，Cursor以25亿美元估值获融资 [6][23][43] - Agent成为行业新赛点，OpenAI、Anthropic、智谱等公司加速布局智能体产品 [51][52][53] 行业投资 - 沙特宣布500-1000亿美元AI投资计划，波兰投入2.44亿美元开发本土大模型 [31] - AI制药公司Cradle获7300万美元融资，Enveda筹1.3亿美元推进药物研发 [61] - 具身智能领域Physical Intelligence以24亿美元估值融资4亿美元，银河通用获5亿元人民币投资 [29]