模型发布与性能表现 - DeepSeek于2025年12月1日发布两款新模型DeepSeek V3.2和DeepSeek-V3.2-Speciale [1] - DeepSeek-V3.2与GPT-5性能相当，而高性能版DeepSeek-V3.2-Speciale与闭源模型天花板Gemini表现相当 [5] - 新模型在国际数学奥林匹克(IMO 2025)、中国数学奥林匹克(CMO 2025)等比赛中获得金牌 [5] - 在多项基准测试中，DeepSeek-V3.2-Speciale表现优异：AIME 2025得分96.0(23k)、HMMT Feb 2025得分99.2(27k)、CodeForces得分2701(77k) [6] - 这是公司今年第九次发布模型 [6] 技术创新与架构改进 - 公司将稀疏注意力(DSA)技术正式应用于主力模型，通过为模型添加"目录"机制优化长文本处理能力 [9][13] - 稀疏注意力技术使模型在处理长句子时推理成本保持稳定，而传统V3.1模型的推理成本随句子长度增加而显著上升 [14][16] - 公司重视开源模型的后训练工作，在预训练结束后投入超过总训练算力10%的资源进行强化学习训练 [17] - DeepSeek-V3.2-Speciale取消了思考长度限制，鼓励模型进行深度思考，实现与Gemini 3相当的性能 [19][20] 训练数据与Agent能力提升 - 模型后训练使用了24667个真实代码环境任务、50275个真实搜索任务、4417个合成通用agent场景、5908个真实代码解释任务 [22] - 公司优化了工具使用流程，在工具调用过程中保持思考过程连续性，仅当用户提出新问题时才重置推理链 [23] - 公司特别重视模型在智能体(Agent)方面的能力建设 [24] 效率与成本优势 - 虽然DeepSeek-V3.2-Speciale回答相同问题需要8077个Tokens，比Gemini的4972个Tokens高出约六成，但成本优势明显 [30][32] - DeepSeek处理问题成本为0.0032美元，而Gemini处理相同问题成本为0.06美元，DeepSeek成本优势达20倍 [33] - 公司通过算法创新而非单纯堆砌参数实现技术进步，包括V2的MoE、V3的多头潜在注意力(MLA)、Math V2的自验证机制等 [39]

注意力机制演进背景 - 传统全注意力机制计算开销随文本长度呈平方级暴增，是限制模型处理长文档的关键瓶颈[5] - 注意力机制改进的两个主要方向是"稀疏注意力"和"线性注意力"[5] - 阿里巴巴和月之暗面在2024年9月和10月底先后开源Qwen3-Next和Kimi Linear模型，其中的注意力机制都使用了线性注意力DeltaNet和全注意力混合的方式[5] DeltaNet与线性注意力技术核心 - 线性注意力的核心思想是将自注意力中的Softmax函数移除，经过数学等价变换可重写成循环神经网络的递推形式，将复杂度从平方级降至线性[12] - DeltaNet利用Delta Rule来更快地写入和更新权重，基于2021年LSTM作者团队的论文《线性Transformer本质上是快速权重编程器》的思路[13] - 线性注意力默认使用赫布学习进行权重更新，为实现更高效的上下文检索能力可替换为更强大的Delta Rule[14] - DeltaNet在2021年被提出后不火的原因包括缺少关键架构改进和实现不够好，后续通过并行化优化使其能大规模训练[20] - Gated DeltaNet在DeltaNet基础上加衰减，可视为DeltaNet与Mamba 2的结合，保留当代架构思路同时继承更强的Delta Rule更新[21] 行业应用与厂商策略 - 阿里巴巴Qwen3-Next团队对全局注意力、混合滑窗注意力、Mamba 2和Gated DeltaNet做了对比，结果Gated DeltaNet表现最好并被采用[23] - Kimi Linear使用的KDA是Gated DeltaNet的细粒度版，将衰减从粗到细，每个channel有独立的遗忘率用于存储不同时间尺度的信息[24] - 线性注意力与全注意力混合使用的原因是线性注意力提供速度优势但容量小，全注意力提供容量优势但推理速度慢[24] - MiniMax在4560亿参数的MoE M1上使用混合线性注意力与全注意力的Lightning Attention，但在M2中又回归完全注意力，主要因混合架构在多跳推理任务上准确率下降明显[26][27][28] - DeepSeek更相信稀疏注意力，其MLA和DeepSeek-Sparse-Attention都是稀疏注意力的改进[29] 技术对比与未来潜力 - 稀疏注意力通过减少激活的KV Cache读取来加速，单层潜力更强，但当KV Cache大小本身成为瓶颈时则无能为力[30] - 线性注意力有理论缺陷因状态空间固定，但混合架构中75%的层被换成RNN后，KV Cache大小减少3/4，可支持更大批量推理[30] - 在数据受限的后训练和强化学习中，线性注意力因更关注邻近token可能表现更好，因其带有归纳偏见[31][32] - 从电路复杂度看，完全注意力属于TC⁰，而DeltaNet是NC¹-complete架构，更擅长状态追踪，这对Agentic AI至关重要[33] - 架构改进需满足两个scalable关键点：大规模训练下效率要有保证且硬件友好，模型放大后依然有效[35] 未来发展方向 - 稀疏注意力的核心趋势是动态稀疏，难点在于硬件上高效实现，现有block级和token级两条技术路线[46] - 线性注意力未来更值得探索更新规则，考虑DeltaNet外还有哪些更新方式既能更好并行实现又更具表达力[48] - 理想方向是将稀疏注意力和线性注意力结合，用稀疏注意力混线性注意力的组合替代完全注意力层，以降低KV cache规模[49] - 持续学习是重要方向，需解决如何让模型持续吸收外界信息而无需隔段时间重训，具有显著商业价值如个性化服务[50] - 测试时训练或快速权重编程允许处理新token后实时更新权重，可能解决长文本问题和实现持续学习[51]

技术突破与核心优势 - 全新模型DeepSeek-OCR实现技术突破，将1000字文章压缩为100个视觉token，压缩率达十倍，精度高达97% [1] - 单块英伟达A100每天可处理20万页数据，极大提升长上下文处理效率 [1] - 视觉token压缩效率比文本token高出10倍，例如1万英文单词原本对应15000个文本token，现仅需约1500个视觉token即可完整表示 [9] - 该方法可能解决大模型领域的长上下文效率问题，并为大幅扩展模型有效上下文长度（如一千万至两千万token级别）提供潜力路径 [1][12] 行业影响与社区反响 - 模型开源后迅速获得AI社区关注，GitHub项目一晚收获超过4000个Star [1] - OpenAI联合创始成员Andrej Karpathy肯定其作为OCR模型的价值，并引发对“像素是否比文本更适合作为LLM输入”的范式转变思考 [3][5] - 研究者认为该方法颠覆了传统多模态LLM中视觉token效率低下的观念，使视觉表示文本成为更高效的选择 [9] - 技术思路被与谷歌Gemini模型可能采用的核心技术相联系，但DeepSeek-OCR的可贵之处在于完全开源模型权重与方法细节 [12] 潜在应用场景 - 高压缩效率使将公司所有关键内部文档塞进提示词前缀并缓存成为可能，实现快速且经济地查询而无需搜索工具 [12] - 可将整个代码库放入上下文中缓存，每次修改仅需追加差异部分内容，提升开发效率 [13] - 技术若与DeepSeek早前发布的稀疏注意力机制DSA结合使用，前景将更加令人兴奋 [11] - 已有开发者成功在英伟达Spark硬件和Mac上部署该模型，例如Django框架联合创建者使用4个提示词在40分钟内完成部署 [14][15] 技术渊源与学界评价 - 核心方法思路并非首创，早在2022年哥本哈根大学等机构的论文《Language Modelling with Pixels》已提出类似思想，其PIXEL模型通过渲染文本为图像解决词汇瓶颈问题 [18][20] - 后续有多篇研究成果对此思路进行发展和改进，包括CVPR 2023的CLIPPO模型和NeurIPS 2024、2025的相关论文 [21][24] - 有批评声音指出该方法不存在渐进性，不像人类，例如Meta研究者Lucas Beyer的评论 [25] - 纽约大学助理教授谢赛宁对Karpathy的评论深感共鸣，其本人曾将Transformer架构与扩散模型结合提出DiT，为文生视频开辟新道路 [5][8]

报告行业投资评级 - 行业投资评级：强于大市（维持）[1] 报告核心观点 - DeepSeek的稀疏注意力机制（特别是NSA和DSA）通过提升计算效率和拓展模型上下文，为AI产业释放了更大的发展潜能，将成为推动模型能力不断突破的重要支撑[8][37] 注意力机制与大模型发展的关系 - 注意力机制模仿人类选择性关注关键信息的能力，解决了长序列遗忘问题[11] - 稀疏注意力将计算复杂度从O(L²)降至亚平方级（如O(L*log L)、O(L*k)），突破内存与算力瓶颈[11] - 经过多代技术迭代，大模型上下文已扩充到128K甚至是1M的长度水平[11] DeepSeek在注意力机制方面的技术改进 - MLA：DeepSeek在V2中引入多头潜在注意力，将注意力分数的显存占用减少约90%，成为R1成本显著低于头部模型的重要因素[12][16] - NSA：2025年2月提出的原生稀疏注意力，通过算法和硬件协同优化，将长文本处理速度提升11倍，可实现与全注意力模型相当或更优的性能[8][18] - DSA：2025年9月V3.2-Exp引入的稀疏注意力机制，带来训练推理效率大幅提升，API价格大幅降价超50%[8][23] DSA和NSA的技术特点对比 - NSA参与整个预训练过程，DSA基于V3.1-Terminus基座继续预训练而来，可低成本进行稀疏注意力探索[27] - DSA通过TileLang实现，NSA选用OpenAI开源的Triton，TileLang可实现更多深度优化，更有利于国产芯片生态适配[27] - DSA通过"闪电索引器"逐词判断找出重要词汇（2048个）进行细粒度稀疏计算，NSA将文本分成"块"分三层挑重点[30] 稀疏注意力对AI产业的影响 - 稀疏注意力带来的计算效率提升和模型上下文拓展，将为后训练释放更大的发展潜能[37] - V3.2-Exp的API调用价格显著降低：输入缓存命中时价格为R1的20%（0.2元/百万Tokens），输入缓存未命中时为R1的50%（2元/百万Tokens），输出价格为R1的19%（3元/百万Tokens）[23] - 成本的下降意味着模型具有更好的性价比和可推广性，将促进应用端实现更多功能落地[23]

核心技术特点 - InfLLM-V2是一种可高效处理长文本的稀疏注意力模型，通过动态切换短长文本处理模式，显著提升长上下文任务的效率与质量 [1] - 该方法仅需5B的长文本词元即可完成稀疏注意力的训练，而DeepSeek-V3.2-Exp训练了近1T词元的数据 [1] - 核心优势包括低成本训练、短到长无缝切换效率双优、以及硬件友好的高效算子实现 [2] - 采用零额外参数、长短无缝切换的可训练稀疏路径，仅用一套共享键值缓存，与稠密注意力在参数与计算方式上完全对齐 [6] 性能表现 - 相比于稠密注意力机制可以实现4倍的速度提升，在长文本理解任务上保持98.1%的稠密模型性能，在深思考任务上保持99.7%的稠密模型性能 [1] - 在128K长文本中，InfLLM-V2可实现4-9倍算子加速比，端到端评测中在prefill与decode分别实现约2.1×与2.3×加速 [13] - 在RULER、LongBench与LongPPL等长文本理解评测中，InfLLM-V2实现了与稠密注意力模型完全可比的性能 [9] - 在数学、代码深思考任务中，InfLLM-V2能够实现与稠密注意力可比的性能，而NSA方法对模型效果有较大损害 [11] 产品应用与对比 - 基于InfLLM-V2架构发布了首个开源的原生稀疏注意力模型MiniCPM4和混合思考版本MiniCPM4.1 [17] - MiniCPM4.1在LiveCodeBench、AIME等代码、数学推理测试中，推理速度比Qwen3-8B等同尺寸开源模型快3倍以上 [17] - 在众多深思考任务上取得综合平均分同尺寸模型第一，在AIME24达到80.83分，AIME25达到72.08分 [18] - 与传统NSA方法相比，InfLLM-V2解决了三套独立KV缓存与三种注意力分支的设计问题，训练更稳定 [6]

万亿的OpenAI - 英伟达与OpenAI的合作涉及四个领域：持续推进微软Azure数据中心建设、与甲骨文及软银合作搭建OCI算力设施、支持CoreWeave的算力需求、以及助力OpenAI自建AI基础设施[2] - OpenAI预测到2029年公司营收将达到1250亿美元，并计划斥资1万亿美元在全球建设数据中心以满足20GW以上计算能力需求，每GW成本预计高达500亿美元[3][4] - OpenAI计算能力储备将超过得州数据中心的13倍以上，支持下一代AI所需的能源规模相当于为超过1300万美国家庭供电，相当于17座核电站级别的电力需求[3][4] - 英伟达计划向OpenAI投入高达1000亿美元用于建设由10GW英伟达系统驱动的超级数据中心，该设施相当于400万到500万台英伟达GPU，总成本预计达5000亿至6000亿美元[4][5] - CoreWeave等基础设施提供商与OpenAI签署了价值65亿美元的协议，使其总合作金额达224亿美元，微软也宣布将在英国投资300亿美元增强AI基础设施[4] 涨疯的Memory - 服务器生意因DDR涨价导致预留利润空间被吃掉，需与客户重新谈价，DDR5和NAND Flash价格因AI基础设施建设需求推动而上涨[6][10] - 2025年4月开始三星和SK海力士逐步减少DDR4产能转向DDR5、LPDDR5和HBM，9月闪迪和美光宣布存储产品价格上涨10%-30%[10] - 2025年服务器DRAM ASP预计全年同比增长18%，2026年预计同比增长36%；2025年NAND ASP预计全年同比增长15%，2026年预计同比增长31%[11][13] - 2025年DDR4 64GB RDIMM价格从139美元上涨至251美元，全年涨幅29%；DDR5 64GB RDIMM价格从253美元上涨至278美元，全年涨幅7%[12] - 2026年DDR5 64GB RDIMM价格预计从295美元上涨至360美元，全年涨幅30%，DDR5渗透率预计从90%提升至92%[12] - 随着推理需求增加，Memory需求将持续增长，此轮涨价可能并非短期现象[14] 新出炉的DeepSeek - DeepSeek V3.2-Exp实现对华为、寒武纪芯片的Day 0级别适配，暗示存在深度联合开发基础，夯实了国产化三层架构根基[18] - 从V3.1到V3.2的迭代周期仅耗时1个月，展现出高效开发节奏，按此进度V4有望在不久后推出[19] - 团队开源V3.2版本的CUDA算子，同时引入TileLang新编程范式，采用"成熟方案+新兴探索"组合保障开发者体验[21] - V3.2通过引入稀疏注意力机制实现算力利用效率优化，官方同步宣布API服务价格下调50%，延续"高性能+低成本"开发理念[22] - 在各项评估指标上V3.2-Exp表现大多与前版相当，Codeforces测试分数提高75分，BrowseComp-zh提升2.9分，但HMMT测试下降2.5分[29] - DeepSeek为V3.2-Exp提供多种内核实现：TileLang内核适合研究用途，DeepGEMM针对生产环境优化，FlashMLA专注于稀疏注意力性能[31][32] - V3.2-Exp代表一种中间实验步骤，目前尚未准备好用于所有部署，但在结构化长文件推理如代码任务上显示出有前景的方向[34]

混合专家模型(MoE)的核心机制 - MoE本质是稀疏注意力手段 旨在提高计算效率 实现小算力运行大模型的目标[1] - 通过提前选取对数据结果起决定作用的少量参数进行计算 近似实现全部参数计算效果 对最终输出影响极小[2] - 专家分配并非基于场景划分 而是数据驱动下的参数优化过程[1] 传统场景划分方式的局限性 - 固定场景对应专家模型会导致场景限制问题 遇到未见场景时无法处理[1] - 若按场景划分多个小模型分别训练 不符合MoE结构的本质设计[1] - 专人专用方式会造成参数利用率低下 部分专家可能永远无法被激活[2] 专家激活与分配机制 - 工作应均匀分配给每个专家 避免低触发率专家造成的参量浪费[2] - 每次可激活不同数量专家 实现算力动态分配[2] - 更难的问题可分配更多算力 同时提升效率和最终效果[2] 实际应用中的表现特征 - 不同专家可能自然形成特定场景偏好 但这是训练结果而非设计原因[3] - 高速场景可能频繁使用某子模型 超车场景可能使用另一子模型 这是数据驱动的自然分布[3] - 专家特长分化是模型训练的"果"而非主观设计的"因"[3]

行业技术突破 - DeepSeek与北京大学联合研发的"原生稀疏注意力(NSA)"技术获ACL最佳论文奖 该会议被公认为自然语言处理领域顶级风向标 [2][3][4] - NSA技术首次实现稀疏注意力在完整训练流程的应用 突破仅能用于推理阶段的限制 在27B模型上实现训练前向计算加速9倍 反向传播加速6倍 [5][23][44] - 该技术显著提升长文本处理效率 在64k上下文长度下推理速度提升11.6倍 同时保持模型性能不降反升 [5][16][45][46] 技术原理创新 - NSA采用三重机制模拟人类阅读行为：Token Compression压缩早期文本为摘要块 Token Selection精准选择相关原文细节 Sliding Window保留最近上下文精细注意力 [26][27][28] - 通过门控机制动态平衡三种阅读策略 实现硬件对齐优化 兼容GQA架构和FlashAttention-2内核 基于Triton重写关键kernel [30][31][52] - 原生可训练特性使稀疏模式与模型协同优化 在MMLU、GSM8K等9项基准测试中7项超越全注意力模型 DROP测试推理能力提升显著 [32][33][35][37] 性能表现数据 - 在64k长度(约8万字)"大海捞针"测试中实现100%信息检索准确率 LongBench评测平均分0.469超越全注意力基线的0.437 [38][40][41] - 上下文长度与加速比呈正相关：8192长度加速4倍 16384长度加速6.4倍 32768长度加速9.1倍 65536长度加速11.6倍 [46] - 传统注意力机制在64k上下文长度下占据70%-80%推理延迟 NSA通过稀疏化计算有效降低延迟 [18][43] 行业应用前景 - 技术已通过27B及MoE架构完整预训练验证 具备商业化落地条件 将应用于下一代DeepSeek大模型 [51][52][53] - 突破性提升长文本处理能力 支持整本书籍、多份财报、完整代码库的直接分析 无需人工拆分 [49][54] - 计算效率提升将传导至API成本降低 加速AI应用生态发展 [55][58][59]

知乎平台AI生态发展 - 知乎已成为AI开发者首发项目、首谈方向、首秀成果的核心阵地，聚集1600万科技与AI领域持续学习者和356万深度创作者，沉淀858万个AI相关问题和2088万个专业回答 [1] - 平台吸引DeepSeek、智元机器人、宇树等明星公司发布技术文章或新品动态，例如DeepSeek发布《DeepSeek-V3/R1推理系统概览》、稚晖君发布人形机器人灵犀X2、王兴兴分享宇树研发进展 [3] - AI创业者夕小瑶在知乎首发全球首个多Agent协作平台Teamo，字节跳动Trae 2.0核心开发者天猪分享AI结对编程技术 [3] WAIC 2025大会参与 - 知乎通过展位多维互动展示AI生态全景，包括硬核技术讨论和"知识王者PK"等趣味环节，知乎直答NFC装置成为人气焦点 [4] - 组织地平线研究员林天威、创伴智能创始人图灵的猫等数十位一线开发者组成"答主探展团"，结合线上圆桌实时输出技术解读 [4] - 联合阿里云、百度、科大讯飞等14家AI企业发布《AI世界通行手册》，涵盖大模型到具身智能的科技全景 [4] AI技术前沿动态 - 月之暗面研发人员在知乎"团建式"分享技术进展，包括开源MoBA框架、Agent产品Kimi-researcher及MoE架构模型Kimi K2的研发历程 [3] - PNP机器人创始人包文涛指出大模型推动具身智能实质性突破，详解PNP机器人能力特点 [5] - AI Next联合创始人德里克文提出人类与AI共同创作新时代，曾合作AI艺术短片《花满渚》 [5] 创新活动形式 - 知乎在WAIC期间举办"开发者回血之夜"盐沙龙，数十位AI开发者通过开放麦形式分享前沿思考，融合技术与人文互动 [5]

线性注意力机制的发展历程 - 线性注意力机制从2021年开始探索，当时被视为"看起来很美好的泡泡"，但公司团队坚持投入研发 [5][21] - 2023年底验证了15B规模的纯线性方案效果接近Transformer，但发现召回能力存在缺陷 [35] - 最终采用7层线性注意力混合1层Softmax注意力的架构，在4560亿参数模型上实现应用 [36][37] 技术优势与验证过程 - 线性注意力理论计算复杂度从二次降为线性，长序列处理速度比Full Attention快2700倍 [11][44] - 通过3700次预训练测试验证技术可行性，涵盖不同参数规模和架构方案 [41][42] - 在7B参数以上模型规模时，线性注意力优势开始明显显现 [16][17] 行业竞争格局 - 线性注意力与稀疏注意力是当前两大改进方向，2023年后线性方向热度上升 [17] - 公司认为线性架构上限更高，未来在长文本赛道具备优势 [50][51] - 目前行业对线性注意力仍存在非共识，部分认为其属于有损优化 [52][53] 产品化与战略布局 - 公司将80%研发资源投入线性架构模型开发，视为重大战略转型 [31][48] - 下一代计划推出深度推理原生多模态模型，预计4-5月发布 [58][60] - 开源4560亿参数模型MiniMax-01，但未提供小尺寸版本 [57] 技术挑战与解决方案 - 线性注意力存在GPU并行化难题，通过Lightning Attention提升实际运行效率 [22] - 召回能力缺陷通过混合架构解决，测试不同比例后选择1:7方案 [36][38] - 多模态实现采用adapter形式而非原生方案，以快速验证效果 [48]