Meta AI团队人才流失 - Llama模型核心团队严重流失 14位原始论文作者中仅剩3人留任 离职率达785% [1] - 离职人员平均任职超5年 多为深度参与AI研究的核心成员 部分完成Llama3项目后离职 [1] - 人才流向竞争对手明显 前Meta研究员创立Mistral等公司 直接挑战Meta开源模型 [2] 竞争格局变化 - Mistral等新兴开源对手快速崛起 开发者转向Deepseek/Qwen等替代方案 [2] - 行业技术迭代加速 Meta缺乏专用推理模型 落后于谷歌/OpenAI的多步骤问题解决能力 [4] - Llama4市场反响平淡 对比两年前开源领导地位显著下滑 [2][4] 内部管理动荡 - FAIR团队领导层更迭 执掌8年的乔尔·皮诺卸任 由创始人罗伯特·弗格斯接替 [3] - Behemoth大模型发布推迟 内部对其性能与领导力存在质疑 [2] - 原始架构师集体离职 公司面临创始团队缺失下的技术延续挑战 [3] 技术战略影响 - Llama系列仍被定位为AI核心战略 但开源创新优势已被竞争对手蚕食 [3] - 2023年Llama论文确立开放权重LLM合法性 曾为专有系统的有效替代方案 [3] - 训练数据限于公开来源 优化单GPU运行效率的策略失去技术领先性 [4]

国产AI突破视觉理解能力 - 国产AI豆包成功解决大模型识别时钟难题，能通过视频实时准确报时，从4点14分到4点15分[1][2][3] - 豆包新增视频通话功能，实现边看边聊的交互方式，并接入联网搜索提升回答准确性和时效性[4][5][6] - 视频通话功能可实时总结微博热搜等网络热点新闻，增强互动趣味性和可靠性[7][8] 视频通话功能实测表现 - 豆包能作为看剧搭子，实时识别《甄嬛传》剧情并分析角色动机，如判断祺贵人企图借皇后之手扳倒甄嬛[15][16][17] - 在生活场景中，豆包可识别食材并详细讲解烹饪步骤，解决做菜难题[20][21][22] - 教育场景表现突出，能准确识别物理题、论文和代码，提供详细解题过程和答案[23] 核心技术能力解析 - 豆包·视觉理解模型具备强大内容识别能力，可精准识别物体类别、空间关系及文化知识，如识别猫的影子或丁达尔效应[24][25][26][27][30] - 模型拥有复杂逻辑计算能力，在教育场景中能理解微积分题目并进行推理计算[33][34] - 视觉描述和创作能力支撑视频通话功能实现又快又准的交互体验[35][36] 行业影响与趋势 - AI与人类交互方式正向更趣味化、实用化方向发展，视频通话功能体现技术落地价值[37] - 视觉理解技术的突破为AI在娱乐、教育、生活服务等场景的应用开辟新路径[15][20][23]

纪要涉及的行业和公司 - **行业**：算力产业、GPU 行业 - **公司**：英伟达、华为、阿里巴巴、百度、腾讯、字节跳动、寒武纪、昆仑芯、韩 5G、海光、火山引擎、智谱、讯飞 纪要提到的核心观点和论据 市场需求与前景 - **全球和国内 GPU 市场需求持续增长**：中国因贸易摩擦，依赖国产或降配版进口芯片；国际上美国生成式多模态及 AGI 技术发展、其他地区推进大模型行业落地带动算力需求[1][3] - **未来两年存在两种情景**：贸易摩擦加剧，国产芯片需求增加；关系缓和，降配版进口芯片推动多模态应用发展，无论哪种情景算力需求都增加[3] 英伟达产品情况 - **英伟达 H20 不受青睐**：降配后性能优势减少、利润下降，头部互联网公司或云服务企业倾向选择性价比更高的国产芯片，国产卡逐渐占据更多市场份额[1][4][5] - **英伟达在中国市场 GPU 卡性价比降低**：预计 2025 年再推降配版 H20 难获大量订单，仅个别急需公司可能购买[5] - **国内公司倾向 B20 而非 H20**：H20 性能下降严重，无法满足多模态推理和 agent 应用需求；B20 架构并行速度和卡间协作更佳，单机内和集群内表现损耗小[1][11] - **B 系列降配版能满足禁令要求**：H 系列因物理架构限制，缩减显存和降低计算频率会使集群表现大幅下降；B 系列架构处理好，配置低时表现损耗小[12] 国产芯片情况 - **华为升腾系列有进展但存在不足**：升腾 910C 通过 3D 空间式设计提升单机架内算力约 25%，但缺乏 Nvlink 导致数据传输速度受限[6] - **韩 5G 芯片有突破但表现欠佳**：实现单片参数技术突破，但在组网及复杂计算中表现欠佳，高可用性材料有差距[6] - **国产芯片需补足多方面**：软硬件结合能力不足、产能问题（如寒武纪无训练卡生产能力）、良品率低，导致显存、传输速度、更新迭代及产能分布存在不足[20] 国内互联网巨头自研芯片情况 - **阿里巴巴**：通过平头哥系列服务于阿里云，用于降低成本、硬件加速和 IoT 场景[7] - **百度**：通过昆仑芯推进大模型推理商业化，与飞桨开发框架适配，实现自主可控[7] - **腾讯和字节跳动**：集中于视频解码、加速及神经网络训练等领域，字节跳动还尝试与台积电合作研发高性能多模态推理芯片[7] 应用场景与算力投入 - **推理场景资源消耗接近训练场景**：2025 年多模态推理场景资源消耗与训练相差无几，特定场景推理成本超训练成本，预计 2026 年互联网公司算力投入向推理倾斜[1][8][9] - **公有云需求未显著增长**：中小企业接入大模型 API 或构建 agent 较少，市场以头部公司自有业务为主导，社会面日常 TOKEN 消耗量相对较低[10] 市场供应与租赁挑战 - **高性能计算芯片供应情况**：英伟达 H20 大部分被头部公司购买，A100 和 A800 应用场景有限，H100 和 H800 价格昂贵，小型企业难以负担，且头部公司考虑数据安全不轻易选择外部集群[17] - **企业租赁高性能芯片面临挑战**：大规模预训练需显卡集中，推理环节需求无法分散，高性能芯片大规模使用存在市场供应量和技术困难，零星或大规模租赁不可行[2][19] 多模态技术市场情况 - **多模态技术占领市场概率高**：2024 - 2025 年末市场规模预计增长 15 - 20 倍，火山引擎大模型有效 tokens 部分来自公有云供中小企业使用[14] 其他重要但可能被忽略的内容 - **字节跳动租赁情况**：租赁 IDC 和机房存放芯片，年初租赁算力用于抖音和豆包相关功能加速，为临时性非大规模租用 GPU[15][16] - **腾讯 GPU 采购困难**：今年一季度疯狂购买 GPU，二三月难买到，四月底五月甚至考虑向字节跳动购买，反映国内市场优质 GPU 资源争夺激烈且供不应求[22] - **非上市公司芯片情况**：昆仑芯推理效果优异，集群版每秒可处理 4000 多个 tokens，单机版能处理三四十个 tokens，P 系列推理优化后集群表现优于华为 910B；韩 5G 芯片带宽传输有瓶颈、耗电量大；海光少量采购组网测试，测试质量难保证[23][24] - **全球 GPU 市场格局及资本开支**：2025 年资本开支增长迅速，2026 年预计下降至 50%以下；字节跳动和阿里巴巴算力采购总量可能降至 80%左右，腾讯增加采购量，百度需求与今年持平但推理侧需求增加；若政策支持，百度将增加昆仑芯产能或进口芯片；2026 年华为生成芯片产能约 85 万，可能被国央企优先购买[25]

纪要涉及的行业和公司 - **行业**：数据中心AI GPU行业 - **公司**：AMD、NVIDIA 纪要提到的核心观点和论据 性能表现 - **不同工作负载下性能差异**：对于直接拥有并运营GPU的超大规模企业和公司，某些工作负载下英伟达每美元性能更优，其他工作负载中AMD更佳；使用短期至中期租赁服务的客户，通过Neocouds平台租用显卡时，英伟达始终在每美元性能上胜出，原因是缺乏提供AMD M00X、M25X的Neocouds服务商，导致其租赁市场价格居高不下，而英伟达有数百个Neocouds提供相关显卡，租赁市场竞争激烈[6][7]。 - **各型号GPU性能对比** - **M00X**：在大多数测试场景中无法与H200竞争，但对于Lama 05B和DeepSeekv 70B，在绝对性能和每美元性能上击败H100[12]。 - **M25X**：本应是H200的竞争对手，但因发货延迟，多数客户选择B200；在部分场景如高并发下的Llama 70B和Llama 05B测试中有优势，但整体性能受发货时间影响[8][13][74][86]。 - **B200**：软件支持仍未完善，但对于当前可部署的负载和模型占据绝对优势，M25和H200性能远不及它[13]。 - **H200**：解决了H100容量短板，在多数测试中表现出色，采用TensorRT - LLM的H200性能优势明显[22][76][88]。 市场份额 - AMD在数据中心AI GPU市场份额自202年第一季度起持续增长，但2025年第一季度因英伟达推出Backwe架构产品，而AMD对标方案要到2025年第三季度面世，市场份额相应下滑，预计2025年第二季度继续下降，不过随着M55X推出和软件改进，有望在年底或明年初重新夺回部分份额[26][27]。 基准测试方法论 - **强调在线吞吐量与延迟关系**：为接近现实推理工作负载，强调分析特定配置下在线吞吐量与每位用户端到端延迟的关系，而非传统离线基准测试，通过增加并发用户数测量延迟上升，得出反映实际运营和用户体验的吞吐量指标[30][31]。 - **模型选择**：针对现实世界生产负载的密集架构和稀疏混合专家（MoE）架构模型进行测试，分别选择Lama 70B、Lama 05B和DeepSeekV 70B作为代表[45][46][47]。 - **输入/输出令牌长度**：测试三种不同输入输出令牌长度组合，分别代表摘要、翻译或对话、推理密集型任务，以全面了解模型和硬件在不同推理工作负载下的性能[49][50][51][52]。 - **推理引擎**：针对不同模型选择不同推理引擎，如Lama 70B和05B选vLLM，H200平台额外评估TensorRT - LLM；DeepSeek 70B选SGLang[54][55][59][60]。 - **并行策略**：系统性评估每种GPU架构和测试场景下所有可行的张量并行（TP）配置，测量吞吐量和延迟确定最优并行策略[61][62]。 成本分析 - **总拥有成本（TCO）**：AMD的M00X和M25X GPU通常每小时总成本低于NVDA的H100和H200 GPU，但在不同延迟和模型测试场景下，性价比表现不同[110][111]。 - **租赁成本**：在GPU租赁市场，AMD因供应有限、市场竞争不足，租赁价格被抬高，整体成本竞争力削弱，英伟达始终在每美元性能上优于AMD；为使AMD GPU在租赁市场与英伟达竞争，M00X和M25X在不同工作负载下需达到特定租赁价格[158][159][160][167][170][171]。 其他重要但可能被忽略的内容 - **生产延迟问题**：AMD的M25X发货延迟，英伟达的GB200 NVL72也因集成NVLink背板挑战和缺乏调试工具遭遇严重延误[24][25]。 - **软件支持问题**：B200和GB200软件支持不完善，如FP8 DeepSeek V在相关推理框架上无法正常运行；AMD的M55X因量产机型未上市、存在未修复缺陷未进行测试[13][172][174]。 - **基准测试阻碍**：服务框架调优参数标志多、文档不足，代码更新快，无法跨机器并行实验，AMD维护独立代码库分支和配置等问题导致基准测试耗时且困难[182][184][185][186]。 - **持续集成测试问题**：AMD的SGLang持续集成（C）测试覆盖率远不及NVDA，有数十项单元测试缺失，影响软件质量和开发者体验[188][189]。 - **模型准确性问题**：AMD在夜间准确性测试方面此前为零，25%的测试模型在AMD平台上准确性测试失败，同一模型在ROCm上运行答案不如在NVDA上智能[194][195]。

核心观点 - 微软亚洲研究院张丽团队选择了一条不同于行业主流Scaling Law的路径，专注于提升大模型的深度推理能力，而非单纯扩大参数规模[1][2] - 团队通过蒙特卡洛搜索算法让7B小模型实现了接近OpenAI o1级别的数学推理能力，突破了传统强化学习路线的局限[4][10] - 团队最早将认知科学中的System2概念引入大模型领域，强调深度逻辑思考能力是模型智商的关键[3][18][19] - rStar-Math工作意外涌现出self-reflection能力，验证了该能力对提升模型智商的重要性[21][22][27] 研究方向与技术路径 - 团队研究分为两个方向：拓展模型长文本记忆能力（LongRoPE）和提升深度推理能力（rStar系列）[10][16][17] - 采用蒙特卡洛搜索算法结合过程奖励模型，实现步骤级优化，显著提升小模型在数学推理任务的表现[38][39][51] - 算法创新包括code-augmented CoT（链式思维代码增强）和Tool-Integrity Reasoning（工具完整性推理）[47][48][50] - 蒙特卡洛搜索在小模型上表现优异，7B模型效果接近OpenAI o1，引发行业对小模型潜力的讨论[33][34][41] 行业影响与反馈 - rStar-Math发布后产生破圈效应，学术圈外如媒体、教育、智能车领域均高度关注[33][67][68] - 成果引发对Scaling Law的重新审视，部分观点认为2025年可能是小模型时代的开端[34] - 主要质疑集中在方法泛化性和蒙特卡洛搜索的必要性，团队通过开源代码和数据回应[37][43] - 蒙特卡洛搜索算法在金融、医疗等需轻量化模型的领域展现出应用潜力[43] 技术细节与实验发现 - 蒙特卡洛搜索的核心优势在于过程奖励模型，相比传统Best of N的结果奖励模型更精细[38][39][55] - 实验显示参数规模与效果正相关，但蒙特卡洛算法在固定size下潜力优于强化学习[44][45][46] - 合成数据效果优异归因于code-augmented CoT和过程奖励模型对高质量步骤的筛选[47][51] - 奖励模型构建是当前技术瓶颈，尤其在数学等需严格过程验证的任务中[56][59][60] 未来研究方向 - 团队将聚焦三方面：优化奖励模型、提升策略模型的高级推理能力、扩展至代码推理等新领域[80][81][82] - 数学推理被视为智商天花板任务，当前最强模型在FrontierMath基准上准确率仅2%[84][86][87] - 长文本方向已通过LongRoPE实现算法突破，但需解决效率、数据和算力问题才能规模化[74][77] - 蒙特卡洛搜索在通用任务中性价比有限，更适合复杂场景如数学证明或代码生成[70][72][73] 行业趋势与条件 - 数学能力研究受青睐因数据丰富、验证明确，但实现通用深度推理仍需长期探索[85][87][89] - 模型架构创新聚焦Transformer改进与非Transformer探索，被视为AGI发展关键路径[92][93] - 当前主流仍依赖强化学习，蒙特卡洛搜索尚未形成趋势，但跨领域合作需求显现[43][46][59]

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 不再像CoT（"思维链"）一样"一个字一个字往外蹦"，加上 "软思维" 就能让大模型像人类一样进行抽象思考。 来自SimularAI和微软DeepSpeed的研究员联合提出了 Soft Thinking ，让模型在 连续的概念空间 中进行 "软推理"，而非局限于离散的语 言符号，打破了基于离散token的推理瓶颈。 相比标准CoT，Soft Thinking最高提升Pass@1平均准确率2.48%、减少token使用量22.4%。 并且，Soft Thinking是一种 即插即用 的推理策略， 无需额外训练 即可应用于现有模型（如Llama、Qwen）。 目前主流的语言模型推理方法存在一个关键问题： 只能逐字生成离散的语言符号（如单词或子词） 。 这就好比思考时只能一个字一个字的蹦出来，不仅限制了模型表达抽象概念的能力，还容易在复杂问题中因"单一路径选择"而犯错。 人类大脑思考时并非依赖明确的语言符号，而是通过 抽象概念的灵活整合 进行推理。 Soft Thinking正是受此启发，将语言模型的推理从"离散符号空间"拓展到"连续概念空间"。 这样，模型就可 ...

核心观点 - 大模型在数学推理能力与指令遵循能力之间存在显著权衡关系，即模型越擅长复杂推理，越容易忽略用户指令要求 [1][6] - 研究团队通过MathIF基准系统验证了23个主流大模型，发现参数规模与指令服从性无正相关，部分小模型反而表现更佳 [6][7] - 推理导向训练（如SFT/RL）会提升解题能力但降低指令敏感性，且推理链越长模型越容易偏离指令要求 [9][10][13] MathIF基准设计 - 专门针对数学推理任务设计，通过程序自动验证模型对格式、语言、长度、关键词等指令的遵循程度 [3] - 包含单一/双重/三重指令组合测试，涵盖GSM8K简单题到AIME竞赛题不同难度层级 [3] - 采用硬准确率（HAcc）和软准确率（SAcc）量化评估，前者要求全部指令满足，后者计算平均满足比例 [4] - 指令类型覆盖长度限制（如500字内）、语言要求（仅中文）、格式规范（禁用逗号）、前后缀标记等5大类 [5] 实验结果 - 表现最佳的Qwen3-14B模型仅能遵守50.71%的指令（HAcc），67.06%的平均指令满足率（SAcc） [7] - 32B参数以上大模型中，Owen3-32B的HAcc达43.81%，但70B参数的DeepSeek-R1-Distill-Llama-70B+反降至41.43% [7] - 1.5B小模型Qwen2.5-Math-1.5B-Instruct在无约束时解题准确率44.05%，加入指令约束后反而提升至44.29% [7] 原因分析 - 推理导向训练使模型优先关注解题准确性，监督微调（SFT）导致Qwen2.5-7B的HAcc从15.95%降至7.86% [10][11] - 推理链长度与指令遵循负相关，人为延长思考过程会使HAcc下降超20个百分点 [13][15] - 限制RL训练中最大响应长度（1k tokens内）可提升指令遵循能力，但会牺牲部分推理性能 [17][18] 优化方法 - 在模型输出答案前重复指令要求，可使HAcc提升约5个百分点，但会降低解题准确率 [19][20] - 在RL训练中引入格式奖励机制，Qwen2.5-1.5B的SAcc从20.44%提升至28.49% [11]

AI与人类数学能力对比 - AI模型o4-mini-medium在FrontierMath基准测试中以6:2的比分击败了8支人类数学专家团队中的6支 [1] - o4-mini-medium在竞赛中得分22%，高于人类团队平均分19%，但低于所有团队综合得分35% [7] - Epoch AI预测AI很可能在年底前明确超越人类数学能力 [27] FrontierMath基准测试设计 - 测试包含300道题，难度从本科生水平到菲尔兹奖级别 [3] - 竞赛选取23道题(7道基础题+16道进阶题)，涵盖拓扑学、代数几何等四个子类 [16] - 评分机制：进阶题每题2分，基础题1分，每个领域至少答对一题额外加1分 [16] - 题目难度分为3级，竞赛中普通题为1-2级，高级题均为3级 [24] 人类参赛者表现分析 - 40名参赛者(数学博士或竞赛获奖者)组成8个团队，每组4-5人 [11] - 人类团队解题正确率在13%-26%之间，平均19% [19] - 若考虑任何一支团队答对即算人类答对，人类正确率可提升至35% [21] - 参赛者在最喜欢的测试题上平均花费40分钟 [28] 测试结果解读 - 调整难度权重后，人类平均得分约30%，"多次尝试"方法下可达52% [24] - AI解题时间(5-20分钟/题)显著短于人类 [27] - 人类在长期扩展行为上优于AI，表现能持续提升 [29] - 当前测试可能低估人类能力，更多时间可能提升表现 [27] 测试局限性 - 参赛者不能完全代表前沿数学水平 [10] - 竞赛题目仅为FrontierMath的不具代表性子集 [8] - 人类基准定义模糊，估计值在30%-50%之间 [8][20] - 竞赛形式限制了人类表现，如时间压力等因素 [27]

核心观点 - 文章深入分析了Kimi k1.5、OpenReasonerZero、DAPO和Dr. GRPO四篇论文的创新点，重点探讨了GRPO及其改进算法在推理模型中的应用 [1][3][10] - 当前AI领域推理和强化学习成为热门，但GRPO并非特殊算法，与其他RL算法关系密切 [6][8][11] - 行业正从价值函数转向直接估计优势值，强化学习范式进化是主要推动力 [20] Kimi k1.5 - Kimi k1.5是Kimi团队最新多模态大语言模型，采用强化学习训练，论文长达25页但未开放模型权重 [17][19] - 模型采用简单有效的强化学习框架，无需依赖蒙特卡洛树搜索等复杂技术 [17] - 团队强调提示策划的重要性，采用基于模型的方法评估提示难度 [22] - 训练方案包含SFT预热、长思维链和拒绝采样，后期使用在线策略镜像下降变体 [24] - 研究发现较大模型在token效率方面表现更好，但小模型通过长思维链也能达到相当性能 [29][31] OpenReasonerZero - 这是首篇展示在基础模型上通过RL取得出色结果的研究 [34] - 使用Qwen-32B基座模型达到DeepSeek论文中提到的Qwen-32B RL模型性能 [38] - 研究发现GRPO对其不起作用，使用带GAE的PPO算法效果更好 [42] - 移除KL惩罚能实现最优训练稳定性和最终性能 [44][45] DAPO - DAPO是对GRPO的改进算法，包括分离裁剪超参数、动态采样等创新点 [54][55][56] - 改进包括：两个不同裁剪超参数、移除平坦奖励样本、使用token级损失、管理过长生成 [54][55][56][57] - 建议从GRPO中移除KL散度惩罚以帮助学习 [59] - 通过消融实验显示模型保持更高熵（探索/随机性） [62] Dr. GRPO - 论文提出修改GRPO以改善学习动态，使生成长度增加较少情况下实现更强性能 [76][79] - 核心修改涉及GRPO实现中的常见做法，调整token优势分配方式 [80] - 移除问题级难度偏置，避免对高方差问题的惩罚 [81] - 比较Qwen 2.5、Llama 3.1和DeepSeek基础模型在数学问题上的表现 [85][86] 行业趋势 - 当前所有RL算法在实现层面高度相似，GRPO虽流行但变革聚焦核心维度 [15][16] - 业界逐渐转向直接估计优势值而非价值函数建模 [20] - 数据分布对强化学习效果起关键作用，提示策划和难度评估成为重点 [22][41] - 模型大小与性能关系显示大模型token效率更高，但小模型通过优化也能达到相当效果 [29][31]

来源丨 白鲸出海（ID： baijingapp ） 作者丨 张凯然 以下文章来源于白鲸出海 ，作者白鲸小编 白鲸出海 . 白鲸出海，泛互联网出海服务平台，白鲸专注于具备互联网属性的行业、公司、产品和服务的出海，包括应用、游戏、电商、区块链、智能手机及硬件、旅 游、网络文学、影视、动漫、教育、体育和金融等。 编辑丨 殷观晓 图源丨Midjourney 在刚刚结束的 Google I/O 开发者大会中，Google 宣布上线由 Gemini 驱动的高级 AI 搜索模式 AI Mode，可以应对复杂问题，支持追问。与之前的 AI Overviews 对 AI 搜索的浅尝辄止不同，Google 终于不再死抱着"关键词+链接列表"，开始拥抱"自然语言交互+结构化答案"的"新"范式了。 Google AI Mode｜图片来源：腾讯科技 作为上一代搜索引擎的霸主，2024 年，Google 的搜索业务贡献了 1750 亿美元，占总收入的一半以上，而转型 AI 搜索势必会对这部分收入带来冲击， 这也是 Google 一直在 AI 搜索方向犹犹豫豫的原因。 而让 Google 决心转型的则是"AI 搜索带来的危机感"，研究机构 ...