研究核心观点 - 香港科技大学联合阶跃及快手等团队提出名为ROVER的新方法，通过评估完全随机策略的价值来寻找最优推理路径，颠覆了传统强化学习依赖策略迭代的范式[1] - ROVER方法以极简主义思路实现高质量与高多样性兼备的推理生成，在多项数学推理基准上显著超越现有方法[2] - 该方法无需维护独立的价值网络或基模型计算KL散度，相比传统方法更加轻量[5] 技术优势与性能表现 - 在AIME24、AIME25及HMMT25等高难度任务上，ROVER相比传统方法大幅提高pass@1指标（提升+8.2）和pass@256指标（提升+16.8）[5] - 在Qwen3-8B-Base模型上，ROVER的pass@1在AIME24达到30.6，比最佳基线DAPO高19.1分；在HMMT25任务中，pass@1从基线最高7.1跃升至14.6，提升106%[15] - 策略多样性比基线平均提升+17.6%，在AIME24上发现更多独特解题路径[17] - 在GPQA-diamond等与数学无关的O.O.D任务上也表现最佳，展现强泛化能力[16][17] 算法创新与实现 - ROVER将大语言模型推理任务建模为有限时域马尔可夫决策过程，具备确定性状态转移、树状结构和二元稀疏奖励等关键特性[7][10] - 算法流程分为三步：Q值估计通过广义贝尔曼方程计算均匀随机策略下的状态-动作对值[11]；策略构建引入基于Q值的softmax采样平衡最优性与多样性[12]；训练目标将Q函数内化于LLM参数，实现自监督式参数化[13] - 采用组内奖励中心化技术降低方差，并将中心化奖励广播到生成的全序列token，实现细粒度信用分配[13] 行业影响与案例展示 - 在具体案例中，ROVER展现出更强的策略发现能力，如在"2x3网格数字排列"问题中，基模型与GRPO仅发现2种策略，而ROVER发现4种不同解题策略[20][22] - 该方法证明在结构化任务中，简化而非复杂化是推进性能的关键，为AI行业提供了新的方法论反思[23] - 论文、代码及模型均已开源，便于行业进一步研究与应用[2][3]

研究团队与背景 - 论文第一作者为香港科技大学博士生何浩然，研究方向包括强化学习和基础模型，共同第一作者为该校一年级博士生叶语霄，通讯作者为香港科技大学助理教授潘玲 [2] 传统方法的局限性 - 在大语言模型数学推理任务中，主流强化学习方法如PPO、GRPO依赖策略梯度更新，面临训练不稳定、多样性丧失和调参复杂等问题 [2][11] - 传统方法需要维护独立的价值网络和基模型以计算KL散度，导致计算开销高昂 [9][16] - 基于奖励最大化的传统方法会使模型过度追求单次推理正确率，牺牲策略探索能力，导致pass@k性能饱和 [16] ROVER方法的核心创新 - ROVER方法通过对完全随机策略进行价值评估来找到最优推理路径，跳过了传统强化学习的策略迭代循环 [3][11] - 该方法证明在有限时域、树形状态空间和二元奖励的马尔可夫决策过程中，均匀随机策略的Q值可直接指向最优策略 [12][14] - 算法流程极简，仅包含Q值估计、策略构建和训练目标三个步骤，无需维护额外价值网络 [19][23] 性能提升表现 - 在AIME24任务上，ROVER在Qwen3-8B模型上的pass@1达到30.6，比最佳基线DAPO高出19.1分 [26] - 在HMMT25任务中，pass@1从基线最高7.1跃升至14.6，提升幅度达106% [26] - 在pass@256指标上，ROVER比传统方法提高16.8，展现持续探索能力 [9] 多样性优势 - ROVER训练的策略多样性比基线平均提升17.6%，在AIME24上发现更多独特解题路径 [29] - 在"2x3网格数字排列"问题中，基模型与GRPO仅发现2种策略，而ROVER发现4种不同解题策略 [31] - 多样性提升使ROVER在GPQA-diamond等与数学无关的O.O.D任务上也表现最佳 [30] 方法论意义 - ROVER的提出是对方法论的反思，表明在某些结构化任务中，简化而非复杂化才是推进性能的关键 [38] - 该方法以"极简主义"实现高质量与高多样性兼备的推理生成，诠释了简化设计的重要性 [4][38]

文章核心观点 - vLLM是一套针对大语言模型推理优化的高性能开源推理框架，通过创新的显存管理、并行调度和KV缓存技术，在保持模型准确性的同时大幅提升吞吐量与响应速度[1] - 该博客文章对vLLM的架构、代码和原理进行了深入分析，涵盖了从基础推理流程到高级功能、扩展能力和分布式系统部署的完整技术栈[3][4][6] - 文章采用倒金字塔结构写作方式，从宏观层面入手逐步深入细节，帮助读者建立对整个系统的清晰整体认知而不被繁琐技术细节淹没[6] LLM引擎核心架构 - LLM引擎是vLLM的核心构建模块，单独使用时能够实现高吞吐量推理但仅限于离线场景[7][8] - 引擎构造函数包含多个子组件：vLLM配置、处理器、引擎核心客户端、输出处理器、模型执行器、结构化输出管理器和调度器[14][15] - 调度器内部包含策略设置、等待队列与运行队列以及KV缓存管理器，其中KV缓存管理器维护一个可用KV缓存块的池子，数量可达几十万甚至更多[16] - 模型执行器在构造过程中会创建Worker对象并执行三个关键步骤：初始化设备、加载模型和初始化KV缓存[19][20][21] 推理流程与调度机制 - Generate函数处理每个提示词时创建唯一请求ID并记录到达时间，通过输入预处理器进行分词后打包成EngineCoreRequest传递到引擎核心[24][25][29] - 每个推理步骤包含三个阶段：调度阶段选择本步骤要执行的请求，前向传播阶段运行模型并采样新token，后处理阶段进行去分词和停止条件检查[32][33][34][35] - 推理引擎主要处理两类工作负载：Prefill请求对所有提示token执行一次前向传播通常是计算受限的，Decode请求仅对最新生成的一个token执行前向传播是内存带宽受限的[38] - V1调度器可以在同一个step中混合处理prefill与decode请求，优先处理decode请求，调度器会计算需要生成的新token数并调用KV-cache管理器的allocate_slots函数[39][40][41][42] 高级功能特性 - 分块预填充将预填充步骤拆分为更小块执行，避免长提示词请求独占计算资源，通过设置long_prefill_token_threshold正整数启用[57] - 前缀缓存避免重复计算多个提示词开头部分共享的token，当提示词长度超过一个KV-cache块（默认16个token）时可显著加快预填充请求速度[62][70][73] - 引导式解码在每一步解码时通过基于语法的有限状态机对logits进行约束，确保只有符合语法规则的token被采样，支持正规文法和上下文无关文法[93][94][97] - 推测解码通过引入较小草稿模型快速生成k个候选token，然后使用大模型进行验证，在统计上等价于标准自回归解码但潜在更快[106][107][112] 系统扩展与分布式部署 - 从UniProcExecutor扩展到MultiProcExecutor支持多GPU进程，通过张量并行将模型分片到同一节点多张GPU上，节点内带宽显著高于节点间带宽[141][143][149] - 分布式系统部署示例使用两台8×H100节点，一台以headless模式运行引擎，另一台作为API服务器，通过数据并行在多个节点上复制模型[153][156] - API服务节点实例化AsyncLLM对象创建DPLBAsyncMPClient，通过FastAPI应用暴露OpenAI兼容接口，整个堆栈通过Uvicorn对外提供服务[172][175] - 完整请求生命周期从终端发送请求到API服务器，经过负载均衡选择引擎，执行推理步骤后将结果返回，复杂分布式系统对用户透明[177][183] 性能测量与基准测试 - 推理系统性能有两个互相制约的指标：延迟从请求提交到返回token的时间对交互式应用重要，吞吐量系统每秒能够生成或处理的token/请求数量对离线工作负载关键[185][186][189] - 常见推理性能指标包括TTFT从请求提交到接收第一个输出token的时间，ITL两个连续token之间的时间，TPOT请求中所有输出token的平均ITL，以及端到端延迟[190] - vLLM提供CLI工具vllm bench {serve,latency,throughput}进行基准测试，latency脚本使用短输入并生成128个输出token，throughput脚本一次性提交固定prompt集测量吞吐量[196][197] - 延迟和吞吐量存在竞争关系，当批大小B较小时每个token的间隔延迟下降，当B增大时间隔延迟上升但吞吐量提高直到达到峰值性能[192][193]

核心技术：SRCA框架及其优势 - 华为诺亚方舟实验室联合香港中文大学等机构提出逐步推理检查点分析框架，旨在解决现有测试时扩展方法存在的路径同质化和中间结果利用不足两大缺陷[2] - SRCA框架包含三大核心组件：检查点注入、答案聚类搜索和检查点候选增强，通过在推理步骤间引入“检查点”并集成新策略来提升模型推理能力[8][13] - 实验结果显示，SRCA框架加持的1B参数小模型在MATH500数据集上达到65.2%准确率，首次超越参数量70倍的70B大模型[25] 核心组件：检查点注入 - 检查点注入是SRCA的基础技术，核心思路是强制模型在每一步推理后暂停并输出阶段性答案，通过检测步骤结束符和插入特定提示语来实现[10][11] - 该方法收集的中间答案可代表模型当前的思考过程，并通过合理的KV Cache管理将推理状态回滚以避免重复计算，降低开销[12] 核心组件：答案聚类搜索 - 答案聚类搜索算法旨在防止“思路扎堆”，鼓励不同解法，它基于检查点答案对推理路径进行分组[14] - ACS采用双层筛选机制：先在组内按PRM总分择优，再在组间采用轮询调度方式从每组抽取最优路径，以保证解题路径的多样性[17] - 该策略仅需16次采样即可达到其他TTS方法128次采样的精度，在同等硬件条件下推理效率提升达8倍[25] 核心组件：检查点候选增强 - 检查点候选增强策略旨在抢救“半成品好答案”，通过收集所有中间检查点答案来辅助最终决策，即使路径未完成，其高质量中间答案也可参与最终投票[19][20] - CCA成功从中间步骤拯救了19.07%的正确答案，通过复用高质量中间结果构建了强大的错误容忍机制[25] - 具体示例显示，模型最终推理答案为9，但CCA通过识别第5步的检查点答案27并给予其最高分0.7192，从而修正了错误答案[21] 性能与效率提升 - SRCA相较于现有TTS方法在多个数学数据集上推理准确性均有提升，例如在OlympiadBench上也有优异表现[2] - 通过设置合理阈值，当候选池中出现超过阈值的检查点答案时可提前停止推理，平均节省27%的推理步骤，且准确率仅轻微下降0.58%[25]

大语言模型（LLM）推理机制 - LLM中的推理定义为在输出最终答案前生成一系列中间token，其核心在于通过中间token增强模型能力而无需扩展模型规模 [6][15] - Transformer模型通过生成中间token可解决布尔电路理论框架下的复杂问题，逻辑电路规模决定解决能力上限（逻辑门数量可达数万亿） [17] - 标准贪婪解码会抑制推理能力输出，需采用链式推理解码（生成多候选答案并筛选高置信度结果）或提示工程（如"逐步思考"指令）触发推理 [22][23][27] 推理优化方法演进 - 监督微调（SFT）依赖人工标注问题与解决方案数据，但泛化能力有限，需依赖数据规模扩展 [29][33][36] - 自我提升方法利用模型生成解决方案数据（Reject Sampling），通过迭代优化降低人工标注成本，如STaR论文提出的自举推理框架 [39][40] - 强化学习微调（RL finetuning）成为当前最优方法，直接优化生成质量指标，谷歌、OpenAI等多团队独立验证其有效性 [42][43][49] 关键技术突破方向 - 多响应聚合策略显著提升推理准确率，通过边缘化方法选择高频答案（如生成10个响应取众数） [60] - 检索增强推理结合外部知识库，解决模型固有知识盲区（如坐标计算需先检索距离公式） [62][63] - 模型组合技术并行运行多个模型对比输出，类似AlphaGo的集成学习思路 [62] 行业应用与未来趋势 - Gemini 2.0展示符号推理能力，通过乘法分解解决数字组合问题（如2025=45×45），体现类人推理过程 [51] - 工业界更关注实际性能而非学术争论，检索与推理结合已应用于代码生成、写作等复杂任务 [62][65] - 未来研究将聚焦非确定性答案任务（如创意生成），推动基准测试向真实场景迁移 [66][68] 学术资源与课程 - 斯坦福CS25课程汇聚Geoffrey Hinton等顶尖学者，YouTube播放量达数百万，涵盖GPT到机器人应用前沿 [9][10] - Denny Zhou论文引用超83,000次，主导语言建模大会（CoLM 2024），研究涵盖链式思考提示与自一致性算法 [8]

核心观点 - 提出单阶段监督-强化微调方法SRFT，通过基于熵的动态加权机制将监督微调(SFT)和强化学习(RL)结合，提升大语言模型(LLM)推理性能[1][3] - SRFT在5项数学推理任务中实现59.1%平均准确率，较zero-RL基线提升9.0%，在分布外任务上平均准确率达62.5%，提升10.9%[4][47] - 相比传统两阶段SFT→RL方法，SRFT训练效率提升2.28倍，实现更稳定的收敛和更优的泛化能力[21][48] 方法设计 - 采用熵感知自适应权重机制动态平衡SFT和RL的贡献：高熵时降低SFT权重防止专家数据过度干扰，高熵时增加RL正样本权重促进熵稳定[29][44] - 双重策略设计：SFT组件实现粗粒度行为策略逼近，异策略RL组件利用演示数据进行细粒度优化[23][24][26] - 统一损失函数集成四个组件：演示数据SFT损失、演示数据RL损失、自探索正样本目标、自探索负样本目标[39][41] 性能对比 - 在AIME24等5个数学基准上，SRFT以59.5%平均准确率超越SFT(54.3%)和最佳zero-RL方法(50.1%)[43] - 在ARC-C等3个非数学基准上，SRFT以62.5%平均分领先SFT→RL(54.6%)和LUFFY(57.8%)等组合方法[43][47] - 响应长度分析显示SRFT能生成更详细的推理过程，而纯RL倾向于简洁输出[48] 训练动态 - 可视化显示SFT使模型概率空间移动最远，RL需将其拉回最优区域，而SRFT路径更直接高效[15] - 熵变化曲线表明SRFT维持更稳定的熵水平，避免RL导致的过早收敛，保留探索能力[20][48] - 重要性采样和分布不匹配缓解策略确保演示数据与当前策略的协同优化[31][32] 技术突破 - 首次实现单阶段协同学习：同步利用专家演示数据和模型自探索试错数据，解决知识遗忘问题[3][23] - 理论揭示SFT通过全局调整token分布(50%以上token受影响)类似"大锤"，RL仅针对性调整2%token类似"手术刀"[9][10] - 提出新型训练轨迹可视化方法，以teacher forcing距离量化模型在概率空间的移动[14]

核心观点 - 过度依赖CoT思维链推理会降低模型性能，新提出的自适应推理框架CAR能根据模型困惑度动态选择短回答或长文本推理，实现准确性与效率的最佳平衡[1][3] - CAR框架在多模态视觉问答、关键信息提取及文本推理等多个基准测试中超越单纯的短回答与长推理方法[3] - CAR打破了"长文本推理必然性能更好"的固有认知，为大模型推理提供更灵活高效的解决方案[27] 研究背景 - 推理能力的进步极大提升了大语言模型（LLMs）和多模态大语言模型（MLLMs）在各类任务中的表现[2] - 已有研究发现长CoT推理并非总能提升准确率，甚至会削弱模型处理简单任务的能力[3] 实验设置 - 研究聚焦文本密集型视觉问答（VQA）和关键信息抽取（KIE）领域，选取8个代表性公开数据集开展实验[4] - VQA数据集包括DocVQA、InfoVQA、ChartQA、VisualMRC，KIE数据集包括SROIE、CORD、FUNSD、POIE[4] - 使用Qwen2.5-0.5B模型进行微调，在域内和域外数据集上开展性能评估[4] 关键发现 - PPL与准确率之间存在显著的强负相关性，数据集整体准确率越高，其平均PPL值越低[7] - 预测正确样本的平均PPL分数显著低于预测错误样本[7] - 以测试集PPL分布的75%分位数作为阈值，PPL值超过阈值时触发长文本推理模式[8] 方法设计 - CAR框架首先生成简短回答并评估困惑度，仅在模型置信度低（困惑度高）时触发推理[3] - 使用包含简短答案和长文本推理解答标注的训练示例构建新数据集，采用标准指令微调流程[12] - 对训练集中所有样本进行短答案推理，生成预测答案并计算其困惑度值PPL[13] 性能表现 - 在多模态数据集上，CAR Qwen2VL平均使用86.9个token，仅为Qwen2-VL Long所使用Token数量的15%[22] - 在DocVQA、ChartQA、FUNSD数据集上，CAR Qwen2VL准确率分别达到90.1%、69.9%、73.6%[23] - 使用Qwen2.5-7B模型时平均准确率达81.1%，使用Llama3.1-8B时达74.9%[24] - 在GSM8K、StrategyQA、MathOA数据集上，CAR Qwen2.5平均准确率达81.1%[26]

红帽公司启动llm-d开源项目 - 全球开源解决方案提供商红帽公司宣布启动新开源项目llm-d，旨在满足生成式AI大规模推理需求 [1] - 该项目与CoreWeave、Google Cloud、IBM Research和NVIDIA合作打造，利用突破性的大规模生成式AI推理技术 [1] - 项目目标是让大语言模型（LLM）推理云能够满足最苛刻的生产服务级目标（SLO） [1] 行业背景与市场需求 - 据Gartner数据，到2028年80%以上的数据中心工作负载加速器将专门部署用于推理，而不是训练用途 [3] - 推理模型日益复杂和规模扩大导致资源需求持续攀升，限制了集中式推理的可行性 [3] - 成本过高和延迟过长可能使AI创新陷入瓶颈 [3] llm-d项目的技术优势 - 将先进的推理能力集成到现有的企业IT基础设施中 [3] - 统一平台使IT团队能够满足关键业务工作负载的各种服务需求 [3] - 部署创新技术以最大限度地提高效率，显著降低与高性能AI加速器相关的总体拥有成本（TCO） [3] 行业合作与支持 - llm-d已获得生成式AI模型提供商、AI加速器先驱和主要AI云平台组成的联盟支持 [3] - 创始贡献者包括CoreWeave、Google Cloud、IBM Research和NVIDIA [1][3] - 合作伙伴包括AMD、思科、Hugging Face、英特尔、Lambda和Mistral AI [3] 行业领袖观点 - Google Cloud AI与计算基础设施副总裁Mark Lohmeyer表示高效AI推理对企业大规模部署AI至关重要 [4] - NVIDIA工程AI框架副总裁Ujval Kapasi称llm-d是对开源AI生态系统的重要补充，体现对生成式AI创新的支持 [4] - NVIDIA强调可扩展、高性能推理是下一波生成式AI和代理式AI的关键 [4]

大模型推理优化技术 核心观点 - 大语言模型(LLM)面临推理成本高、性能冗余等难题，亟需提升速度与能效 [2] - 华为基于昇腾算力发布三项硬件亲和算子技术，实现推理速度与能效双重突破 [2][4][7][9] - 技术通过数学重构、硬件深度适配和多卡协同优化，推动行业向"数学创新+架构感知+硬件亲和"协同演进 [12] 技术全景 AMLA算子 - 通过二进制重解析将乘法转为加法运算，算力利用率最高达71%，优于FlashMLA的67% [4][5] - 基于存内计算减少数据搬运，Attention算子性能提升30%以上，平均算力利用率55% [4][5] - 未来将扩展至KV Cache量化和全量化场景 [12] 融合算子优化 - 三大设计原理：硬件单元并行优化、冗余数据搬运消除、数学等价重构计算流 [7] - 实现跨硬件单元算子融合，中间结果全程驻留高速缓存 [7] - 计划在更多模型架构上应用，推动昇腾硬件高效推理 [12] SMTurbo技术 - 支持384卡原生Load/Store语义，跨卡延迟低至亚微秒级 [9][10] - 通过并行读写设计提升访存吞吐20%以上，优化同步开销 [10] - 未来将结合业务流水设计，在大BatchSize场景实现收益 [12]

核心观点 - 国际系统领域顶会 MLSys 2025 最佳论文奖由两篇华人主导的论文获得，分别是华盛顿大学等机构合作的《FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving》和瑞典查尔摩斯理工大学的《The Hidden Bloat in Machine Learning Systems》[1] - FlashInfer 是一个高效可定制的大语言模型注意力推理引擎，其技术已被集成到多个主流项目中[2][5] - 另一篇获奖论文提出了 Negativa-ML 方法，可显著减少机器学习系统中的代码臃肿问题[31][32] FlashInfer 论文 项目背景 - FlashInfer 是华盛顿大学、卡耐基梅隆大学和 OctoAI 合作的研究项目，旨在创建灵活的大语言模型推理内核库[4] - 项目提供多种 LLM GPU 内核的高性能实现，包括 FlashAttention、SparseAttention 等[4] - 首个适用于 DeepSeek MLA 的 Blackwell 内核也出自 FlashInfer[5] 技术优势 - 与当前最先进的 LLM 部署方案相比，FlashInfer 在多种场景下显著提升性能： - token 间延迟减少 29% 至 69%[7] - 长上下文推理任务延迟降低 28% 至 30%[7] - 并行生成场景推理速度提升 13% 至 17%[7] - 采用块稀疏行格式(BSR)存储键值缓存，支持动态配置块大小[16] - 兼容 NVIDIA Turing 到 Hopper 全系架构，针对不同硬件采用优化算法[17] 系统设计 - 通过 JIT 编译支持自定义注意力变体，用户只需定义函数子模块即可生成优化内核[20][21] - 采用 Plan/Run 模式处理不规则负载，借鉴 Inspector-Executor 模式[26] - 提供面向用户的 API，支持动态选择最优 CUDAGraph 执行[23] The Hidden Bloat in Machine Learning Systems 论文 研究内容 - 提出 Negativa-ML 方法，可分析 ML 框架共享库并识别消除臃肿代码[31] - 重点关注设备代码中的不必要代码，这是现有研究忽略的领域[31] - 在 300 个共享库的十个工作负载中验证方法有效性[31] 研究成果 - 平均减少设备代码大小达 75%，主机代码大小达 72%，文件总大小达 55%[32] - 峰值主机内存使用量减少最多 74.6%，GPU 内存使用量减少最多 69.6%[32] - 执行时间最多减少 44.6%[32]