论文核心成就 - DeepSeek-R1推理模型研究论文登上国际权威期刊《自然》封面，成为全球首个经过同行评审的主流大语言模型[4] - 论文首次公开仅靠强化学习就能激发大模型推理能力的重要研究成果，该模型成为全球最受欢迎的开源推理模型，Hugging Face下载量超1090万次[4] - 《自然》杂志高度评价此项工作，称其打破了主流大模型未经独立同行评审的空白，是迈向透明度和可重复性的可喜一步[4][5] 研究方法与技术细节 - DeepSeek-R1的研究出发点是解决大模型后训练阶段严重依赖人工标注的问题，尝试通过强化学习让模型自我演化发展出推理能力[14] - 在DeepSeek-V3 Base基础上，公司使用GRPO作为强化学习框架，仅使用最终预测结果与真实答案的正确性作为奖励信号，构建出DeepSeek-R1-Zero[14] - DeepSeek-R1-Zero通过强化学习成功掌握改进的推理策略，倾向于生成更长的回答，每个回答中包含验证、反思和探索备选方案[15] - 公司在DeepSeek-R1-Zero基础上采用多阶段训练结合RL、拒绝采样和监督微调，开发出DeepSeek-R1，使模型既具备强推理能力又能更好贴合人类偏好[16] 数据安全与污染防控 - DeepSeek-V3 Base使用的数据全部来自互联网，虽然可能包含GPT-4生成的结果，但绝非有意而为之，更没有专门的蒸馏环节[9] - 为防止基准测试数据污染，公司对DeepSeek-R1的预训练和后训练数据都实施全面去污染措施，仅在预训练数据中就识别并删除了约六百万条潜在文本[17] - 在后训练阶段，数学相关数据均来自2023年之前的竞赛，并采用与预训练相同的过滤策略，确保训练数据与评测数据完全不重叠[17] 模型安全性能评估 - DeepSeek为DeepSeek-R1新增全面安全报告，在服务部署中引入外部风险控制系统，基于关键词匹配和使用DeepSeek-V3进行风险审查[18] - 在公开安全基准测试和内部安全研究中，DeepSeek-R1在大多数基准上超过了Claude-3.7-Sonnet、GPT-4o等前沿模型[18] - 具体安全评分显示：DeepSeek-R1在SST测试中获得97.5%安全分，在BBQ测试中获得96.6%安全分，平均安全分数达到95.0%[19] 同行评审过程与价值 - DeepSeek-R1论文提交至《自然》后，有8位外部专家参与同行评审，对工作的原创性、方法和鲁棒性进行评估，审稿报告与作者回复被一并披露[26] - 审稿人共提出上百条具体意见，涵盖对数据污染和模型安全性问题的关注，公司认真回应了每一个问题并新增多个章节与补充信息[29][32] - 同行评审流程提升了论文的清晰度，确保作者对其主张作出合理论证，增强了研究的可信度[34] 行业影响与意义 - 《自然》杂志呼吁更多AI公司将其模型提交给同行评审，确保其声明经过验证和澄清[36] - DeepSeek的开源模式不仅展示了国产AI的技术实力，也有望成为全球AI行业在科研透明度方面的参考典范[36]