Workflow
稀疏注意力机制
icon
搜索文档
DeepSeek,与国产芯片开启“双向奔赴”
21世纪经济报道· 2025-09-30 19:52
模型发布与技术更新 - 深度求索公司于9月29日晚间发布DeepSeek-V3.2-Exp模型,实验性地引入DeepSeek Sparse Attention稀疏注意力机制,显著降低计算资源消耗并提升推理效率 [1] - 新模型在V3.1-Terminus基础上引入稀疏注意力机制,针对长文本训练和推理效率进行探索性优化和验证,所采用机制疑似基于公司2025年2月论文中的原创机制 [6] - 公司同步更新官方App、网页端、小程序至新模型,并全面下调API价格,降幅在50%到75%不等 [1] 国产芯片生态协同 - 新版模型发布后迅速获得寒武纪、华为昇腾、海光信息等国产芯片厂商适配,寒武纪在4分钟内率先宣布适配并开源大模型推理引擎vLLM-MLU源代码 [2] - 华为昇腾基于vLLM/SGLang等推理框架完成适配部署,实现0day支持并向开发者开源所有推理代码和算子实现 [2] - 海光信息表示其DCU已实现对模型的无缝适配和深度调优,验证了海光DCU高通用性、高生态兼容度及自主可控的技术优势 [2] 行业标准与生态建设 - DeepSeek已获得国产推理模型大部分份额,成为国产开源模型标杆,行业认为由深度求索定义国产芯片标准或组建国产芯片生态更为合适 [2] - 相比英伟达用二十年建立生态,DeepSeek用了不到一年时间飞速完成初步生态追赶,腾讯云、阿里巴巴等云厂商积极适配国产芯片并参与开源社区建设 [7] - 公司模型在兼容CUDA基础上使用专为AI算子开发设计的编程语言TileLang进行快速原型开发,该语言由北京大学团队主导开发并于2025年1月开源 [6] 技术发展路径 - DeepSeek-V3.1版本明确模型将适配下一代“UE8M0”浮点格式国产芯片,为国产芯片发展指明方向,但当时未有企业主动认领该格式 [5] - 业内专家认为发展顺序应是DeepSeek先定义国产芯片标准,让芯片厂商跟进,而非让模型去适配芯片 [3] - 国产芯片行业本质是“Know-How”行业,只要业界形成共识,芯片与算力生态围绕标准发展的进度将会异常快捷 [3]
华为昇腾、寒武纪宣布适配DeepSeek最新模型
21世纪经济报道· 2025-09-30 18:19
模型发布与核心技术创新 - 公司于9月29日正式发布DeepSeek-V3.2-Exp模型,该模型是在V3.1-Terminus基础上的探索性版本 [1] - 新模型首次引入自研的DeepSeek Sparse Attention稀疏注意力机制,旨在优化长文本的训练和推理效率 [1] - DSA机制能够自适应选择关键注意力头与局部上下文窗口,相比传统稠密注意力机制,在处理长文本时计算量呈指数级增长的问题得到解决,方案更高效且成本更低 [7][1] 性能表现与成本优势 - 通过引入DSA机制,V3.2-Exp实现了长文本训练和推理效率的大幅提升,同时在各项核心能力上与V3.1-Terminus保持基本持平 [7] - 得益于新模型服务成本大幅降低,DeepSeek API价格下调50%以上,显著降低了开发者的调用成本 [2][10] 开源策略与生态协同 - 公司将DeepSeek-V3.2-Exp模型在Huggingface和ModelScope平台上全面开源,相关论文也已同步公开 [5] - 新模型发布后,华为昇腾、寒武纪和海光信息第一时间宣布完成适配,显示出国产AI软硬件生态的协同发展 [11] - 公司开源了TileLang版本算子,该国产编程语言由北京大学团队开发,能将FlashAttention算子代码量从超500行减少至80行并保持性能,显著提升AI算子开发效率 [11][3] 版本状态与行业影响 - DeepSeek-V3.2-Exp定位为实验版本,公司认识到新模型仍需在更广泛用户真实场景中进行大规模测试 [4] - 公司为方便用户对比测试,为V3.1-Terminus临时保留额外API访问接口至10月15日,调用价格与V3.2-Exp一致 [4] - 华为计算宣布昇腾已实现DeepSeek-V3.2-Exp 0day支持,并面向开发者开源所有推理代码和算子实现,表明国产模型、编程语言与算力正深度协同共进 [12]
华为昇腾、寒武纪宣布适配DeepSeek最新模型
21世纪经济报道· 2025-09-30 18:13
模型发布与核心特性 - DeepSeek-V3.2-Exp模型于9月29日正式发布,是在V3.1-Terminus基础上的实验版本[1] - 新模型首次引入自研的DeepSeek Sparse Attention稀疏注意力机制,针对长文本训练和推理效率进行优化验证[1] - DSA机制能够自适应选择关键注意力头与局部上下文窗口,相比传统稠密注意力机制计算更高效、成本更低[1][3][4] 技术优势与性能表现 - 传统Transformer全连接注意力机制计算复杂度随文本长度呈指数级增长,DSA针对长文本处理的主要计算瓶颈实现细粒度稀疏注意力机制[2][4] - V3.2-Exp在长文本训练和推理效率上实现大幅提升,同时在与V3.1-Terminus的严格对齐比较中各项核心能力保持基本持平水准[4] - 模型已在Huggingface和ModelScope平台全面开源,相关论文同步公开[2] 成本优化与市场策略 - 得益于新模型服务成本大幅降低,DeepSeek API价格下调50%以上[1][5] - 为方便用户对比测试,DeepSeek为V3.1-Terminus临时保留额外API访问接口,开放至10月15日,调用价格与V3.2-Exp一致[2] - 公司认识到新模型仍需在更广泛用户真实场景中进行大规模测试,以排除某些场景下效果欠佳的可能[2] 生态合作与国产化进展 - DeepSeek V3.2-Exp发布后,华为昇腾、寒武纪和海光信息第一时间宣布完成适配,显示国产AI软硬件生态协同发展[6][7] - 公司开源新模型研究中设计的GPU算子,包括TileLang和CUDA两种版本,建议研究性实验使用基于TileLang版本方便调试和快速迭代[7] - TileLang是由北京大学团队主导开发的开源AI算子编程语言,专门为简化复杂GPU算子开发而设计,实现FlashAttention算子代码量从超500行减少至80行并保持性能持平[7] - 华为计算宣布昇腾已实现DeepSeek-V3.2-Exp 0day支持,并面向开发者开源所有推理代码和算子实现,表明国产模型、编程语言与算力深度协同共进[8][10]
DeepSeek新模型降价:优化推理效率,API价格降超50%
YOUNG财经 漾财经· 2025-09-30 14:25
新模型发布与技术升级 - DeepSeek正式发布实验性版本DeepSeek-V3.2-Exp模型 [3] - 新模型在V3.1-Terminus基础上引入DeepSeek Sparse Attention稀疏注意力机制 [3] - 新模型针对长文本训练和推理效率进行探索性优化和验证 [3] - DeepSeek Sparse Attention首次实现细粒度稀疏注意力机制 [4] - 新机制在几乎不影响模型输出效果前提下实现长文本训练和推理效率大幅提升 [4] - 新模型研究过程中使用高级语言TileLang进行快速原型开发 [4] - 开源算子包含TileLang与CUDA两种版本 [4] API价格调整与成本优化 - DeepSeek API价格降低50%以上 [2][4] - 输入缓存命中价格从0.5元降至0.2元/百万tokens [4] - 输入缓存未命中价格从4元降至2元/百万tokens [4] - 输出价格由12元降至3元/百万tokens [4] - 价格下调得益于新模型服务成本大幅降低 [4] - 官方App、网页端、小程序均已同步更新为新模型 [3] 模型性能与评估 - DeepSeek-V3.2-Exp训练设置与V3.1-Terminus严格对齐 [4] - 在各领域公开评测集上新模型表现与V3.1-Terminus基本持平 [4] - 新模型作为迈向新一代架构的中间步骤 [3] 行业竞争动态 - 国内大模型厂商智谱新一代旗舰模型GLM-4.6即将发布 [6] - 智谱Z.ai官网显示GLM-4.5标识为上一代旗舰模型 [6] 学术研究突破 - DeepSeek-R1研究成果登上《自然》期刊封面 [7] - 研究揭示如何在极少人工输入下训练模型进行推理 [7] - DeepSeek-R1模型采用强化学习进行训练 [7] - 模型正确解答数学问题获高分奖励答错受惩罚 [7] - 训练出能够规划解决问题步骤的大模型能更好解决问题 [7]
DeepSeek新版本API价格下调 寒武纪:对新模型DeepSeek
中国证券报· 2025-09-30 08:09
模型更新与性能优化 - DeepSeek发布实验性版本DeepSeek-V3.2-Exp 引入稀疏注意力机制以提升长文本训练和推理效率 [1] - 新模型服务成本大幅降低 API价格下调超过50% [1] - DeepSeek-V3.2-Exp已在App、网页端和小程序同步更新 [1] 硬件厂商适配与生态支持 - 寒武纪同步适配DeepSeek-V3.2-Exp并开源大模型推理引擎vLLM-MLU源代码 [1] - 寒武纪通过Triton算子开发和BangC融合算子实现快速适配及性能优化 达成业界领先计算效率水平 [2] - 华为昇腾基于vLLM/SGLang推理框架完成DeepSeek-V3.2-Exp的0day支持 并开源所有推理代码和算子实现 [3] - 华为昇腾在CANN平台完成优化适配 在128K长序列下实现TTFT低于2秒、TPOT低于30毫秒的推理性能 [3] 模型迭代历程 - DeepSeek于8月21日发布V3.1版本 并于9月22日更新至Terminus版本 改进语言一致性问题 [3] - Terminus版本针对用户反馈优化 缓解中英文混杂及异常字符情况 [3]
DeepSeek最新模型上线,全新注意力机制基于北大ACL最佳论文
36氪· 2025-09-30 07:39
模型发布与技术升级 - DeepSeek发布最新实验性模型DeepSeek-V3.2-Exp,该模型基于DeepSeek-V3.1-Terminus开发 [1][3] - 模型首次引入以DeepSeek品牌命名的关键技术“DeepSeek稀疏注意力”(DSA),这是首个用DeepSeek品牌命名的关键技术 [3][5] - DSA是此前与北大合作ACL 2025最佳论文中原生稀疏注意力(NSA)的改进版本 [3] 技术创新与效率提升 - DSA实现了细粒度稀疏注意力机制,通过“闪电索引器”高效判断哪些历史Token最重要,仅对少量关键Token(如2048个)进行精细计算 [5][8] - 新技术使核心注意力计算复杂度从O(L²)大幅降低至O(Lk),其中k为远小于L的固定值,在处理长文本时带来巨大效率提升 [8] - 训练过程包含“密集预热”初始化闪电索引器、“稀疏训练”适应新稀疏模式,以及沿用专家蒸馏和混合强化学习的后训练流程 [10] 性能表现评估 - 在严格对齐的训练设置下,DeepSeek-V3.2-Exp与V3.1-Terminus相比未出现实质性性能下降 [12][14] - 具体基准测试显示:MMLU-Pro保持85.0分,GPQA-Diamond从80.7略降至79.9,Codeforces-Div1从2046提升至2121,AIME 2025从88.4提升至89.3 [15] - 实际部署推理测试中端到端加速效果和成本节约非常显著,实现“性能不降、成本骤减”的特性 [14][18] 商业应用与定价策略 - 得益于新模型服务成本大幅降低,官方API价格同步下调50%以上 [1][19] - 新价格政策即刻生效,当前API模型版本为DeepSeek-V3.2-Exp,访问方式保持不变 [19] - 此次技术突破为大模型突破长文本瓶颈指明了充满希望的工程路径 [18]
DeepSeek-V3.2-Exp发布 API成本将降低50%以上
凤凰网· 2025-09-29 22:07
模型技术更新 - DeepSeek-V3.2-Exp模型在V3.1-Terminus基础上引入DeepSeek Sparse Attention稀疏注意力机制 [1] - 新模型针对长文本的训练和推理效率进行了探索性优化和验证 [1] - 在各领域公开评测集上,DeepSeek-V3.2-Exp表现与V3.1-Terminus基本持平 [1] 产品与服务部署 - 官方App、网页端、小程序均已同步更新为DeepSeek-V3.2-Exp模型 [1] 商业策略调整 - DeepSeek API价格大幅下调,新价格政策下开发者调用成本将降低50%以上 [1]
深度求索正式发布DeepSeek-V3.2-Exp模型
北京商报· 2025-09-29 20:58
公司产品发布 - 深度求索公司于9月29日正式发布DeepSeek-V3.2-Exp模型 [1] - 新模型在V3.1-Terminus基础上引入DeepSeek Sparse Attention稀疏注意力机制 [1] - 该机制针对长文本的训练和推理效率进行了探索性优化和验证 [1] 产品部署与更新 - 官方App、网页端、小程序均已同步更新为DeepSeek-V3.2-Exp模型 [1] - API应用程序编程接口同步更新并实行大幅度降价 [1] 价格策略调整 - 在新的价格政策下,开发者调用DeepSeek API的成本将降低50%以上 [1]
DeepSeek-V3.2-Exp模型发布并开源,API价格大幅下调
36氪· 2025-09-29 20:12
模型发布与更新 - DeepSeek-V3.2-Exp模型于9月29日正式发布并在Huggingface与魔搭平台开源 官方App、网页端和小程序同步更新为V3.2-Exp版本 [1] - 新版本为实验性模型 引入DeepSeek Sparse Attention稀疏注意力机制 针对长文本训练和推理效率进行优化验证 [1] - 华为昇腾已基于vLLM/SGLang推理框架完成适配部署 实现DeepSeek-V3.2-Exp 0day支持 并向开发者开源所有推理代码和算子实现 [1] 技术架构创新 - 稀疏注意力机制首次实现细粒度稀疏化 在几乎不影响输出效果前提下大幅提升长文本训练和推理效率 [1] - 新模型研发使用TileLang高级语言进行快速原型开发 最终阶段以TileLang为精度基线改用底层语言实现高效版本 [2] - 开源算子包含TileLang与CUDA两种版本 官方建议研究性实验使用TileLang版本便于调试和快速迭代 [2] 性能评估与迭代历程 - V3.2-Exp训练设置与V3.1-Terminus严格对齐 在各领域公开评测集表现基本持平 [5] - 8月21日发布的V3.1版本采用混合推理架构 同时支持思考与非思考模式 相比DeepSeek-R1-0528思考效率更高 [4] - 9月22日更新至V3.1-Terminus版本 优化语言一致性缓解中英文混杂问题 并强化Code Agent与Search Agent能力 [4] 商业化进展 - 新模型服务成本大幅降低 API价格相应下调超过50% [4] - V3.1版本通过Post-Training优化显著提升工具使用与智能体任务表现 [4]
刚刚,DeepSeek开源V3.2-Exp,公开新稀疏注意力机制DSA
机器之心· 2025-09-29 18:29
DeepSeek-V3.2-Exp 开源发布 - DeepSeek 在假期前发布实验版本 DeepSeek-V3.2-Exp 并开源 [1][3] - 模型参数量为 685B [3] - 同步公开论文及稀疏注意力机制技术细节 [3][5] 稀疏注意力机制架构创新 - DeepSeek 稀疏注意力机制(DSA)是 3.2 版本唯一架构改进 [6] - DSA 实现细粒度稀疏注意力 显著提升长上下文训练和推理效率 [9] - 在 MLA 架构下实例化 DSA [8] - 该机制代表对更高效 Transformer 架构的持续研究 特别注重扩展文本序列处理的计算效率 [10] 模型性能基准测试 - DeepSeek-V3.2-Exp 训练配置与 V3.1-Terminus 严格对比 [9] - 在公开基准测试中表现相当 例如 MMLU-Pro 均保持 85.0 [9][11] - 部分领域存在微小波动 如 GPQA-Diamond 从 80.7 降至 79.9 而 AIME 2025 从 88.4 升至 89.3 [11] - Codeforces 评分从 2046 提升至 2121 [11] - Agentic Tool Use 方面 BrowseComp-zh 从 45.0 升至 47.9 [11] 行业竞争动态 - 智谱 GLM-4.6 即将发布 GLM-4.5 被标识为上一代旗舰模型 [12]