论文核心成果 - 研究核心为解决大模型在智能体应用场景下的推理速度瓶颈,通过优化底层系统提升效率 [3] - 提出名为DualPath的创新推理系统,专门针对智能体工作负载下的大模型推理性能进行优化 [3] - 系统通过引入“双路径读取KV-Cache”机制,重新分配存储网络负载,将闲置的带宽资源利用起来 [4] 性能提升数据 - DualPath系统将离线推理吞吐量最高提升1.87倍 [3] - 系统使在线服务的每秒智能体运行数平均提升1.96倍 [3] 行业应用背景与挑战 - 大模型正从单轮对话机器人快速演进为能够自主规划、调用工具并通过多轮交互解决实际任务的智能体系统 [3] - 应用范式转变推动推理负载从传统人机交互转向人类-大模型-环境交互,交互轮次可达数十甚至数百轮 [3] - 智能体场景下上下文跨轮次累积,长度可达极值,导致系统频繁从硬盘读取历史上下文的KV-Cache [3] - 现有系统瓶颈在于负责预处理引擎的网卡带宽被占满,而负责生成内容的解码引擎网卡带宽闲置 [3] 技术方案价值 - 解决大模型执行智能体任务时速度被“数据读取”拖慢的核心问题 [4] - 工程化层面的极致性能优化,有助于降低AI使用成本,推动AI走向大规模应用 [5] 市场动态与传闻 - 外界更关注DeepSeek新一代旗舰模型DeepSeek V4的发布,市场传闻发布时间几经更迭,从2月春节前后到“最快下周”,再到3月前后 [5] - 有外网爆料称DeepSeek正在测试代号为“Sealion-lite”的V4 Lite模型,上下文窗口为100万tokens,并原生支持多模态推理 [5] - 有消息提及DeepSeek已在近期将重大更新版本V4向华为等国内厂商提供提前访问权,以支持其优化处理器软件,但英伟达等厂商尚未获得类似权限 [5] - 面对传闻,公司保持一贯沉默,未进行任何回应 [6] - 市场已进入“严阵以待”状态,部分投资机构担忧新一代模型发布可能引发市场剧烈震荡 [6]
DeepSeek又一论文上新!新模型V4更近了?