Workflow
人工智能模型训练
icon
搜索文档
刚刚,DeepSeek最新发文,V3/R1训练细节全公开,信息量巨大
36氪· 2025-09-01 20:06
新规合规举措 - 公司宣布对所有AI生成内容添加显式“AI生成”标识以符合网信办《人工智能生成合成内容标识办法》第四条要求 [1][2] - 公司明确禁止用户恶意删除、篡改、隐匿标识或利用AI传播虚假信息 [2] - 公司通过开源平台公开发布模型权重、参数及推理工具代码,采用MIT协议供自由下载使用 [27][28] 模型技术架构 - DeepSeek-V3-0324模型参数总量达6850亿,通过梯度下降算法迭代优化 [15] - 模型训练分为预训练和优化训练两阶段:预训练掌握通用语言能力,优化训练(微调)通过SFT、RL等方法适应具体任务 [13][17][19] - 模型推理采用自回归生成方式,基于概率计算动态生成文本而非直接复制训练数据 [25][27] 训练数据管理 - 预训练数据来源包括互联网公开信息(网页、文档)及第三方合作授权数据,强调不主动使用个人信息 [20][21] - 数据治理通过自动过滤(剔除仇恨言论、色情、暴力内容)及算法+人工审核降低统计偏见 [21] - 优化训练数据由研究团队生成,部分基于用户输入但经加密、去标识化和匿名化处理 [22][23] 安全与透明度 - 公司通过安全数据对模型进行安全对齐训练,确保回复符合人类价值观 [24] - 全生命周期风险管理措施包括红队测试、增强透明度及赋予用户数据查询、拒绝训练和删除历史数据的权利 [37][38] - 技术报告和模型原理说明对外公开,促进社区研究和技术理解 [4][6][28] 局限性及应对 - AI存在生成错误或不符合事实内容的“幻觉”问题,行业普遍面临此挑战 [30][31] - 公司通过高质量数据、优化对齐策略和RAG技术降低幻觉率,但无法完全消除 [32] - 在医疗、法律、金融等专业领域,明确不提供建议并强调需寻求专业指导 [35][36]
速递|O'Reilly指控OpenAI"窃书" 训练 GPT-4o,AI数据黑箱再陷版权风暴
Z Potentials· 2025-04-02 11:17
核心观点 - 多家机构指控OpenAI可能未经许可使用付费墙后的O'Reilly书籍训练其AI模型,尤其是GPT-4o [1][2] - AI监督组织通过论文指出,GPT-4o对付费墙后书籍内容的识别率显著高于旧版模型,暗示其训练数据可能包含未授权内容 [2][3] - OpenAI面临多起诉讼,其训练数据实践和版权法处理引发争议 [5] 训练数据争议 - OpenAI被指控利用O'Reilly Media付费墙后的书籍训练GPT-4o,且未签署许可协议 [2] - 论文采用DE-COP方法(成员推理攻击)检测模型训练数据中的受版权保护内容,结果显示GPT-4o对付费墙后书籍的识别率远高于GPT-3.5 Turbo [2][3] - 研究分析了34本O'Reilly书籍中的13,962个段落摘录,评估模型训练数据中可能包含的版权内容概率 [3] 模型表现差异 - GPT-4o对付费墙后O'Reilly书籍内容的识别能力显著强于GPT-3.5 Turbo,后者对公开可获取的书籍样本识别率更高 [2][3] - 研究指出,GPT-4o可能掌握了其训练截止日期前出版的非公开O'Reilly书籍内容,但未评估最新发布的GPT-4.5等模型 [4] OpenAI的数据策略 - OpenAI在耗尽公共网络数据后,开始采用AI生成的数据训练模型,但完全摒弃现实世界数据的实验室极少 [1] - 公司长期倡导放宽使用受版权保护数据的限制,并寻求更高质量的训练数据,甚至聘请记者和领域专家协助微调模型 [4] - OpenAI与部分新闻出版商、社交网络等签订了授权协议,并提供了不完善的退出机制供版权所有者标记不希望用于训练的内容 [4] 行业趋势 - AI公司普遍招募科学、物理等领域专家,将专业知识输入AI系统以提升模型性能 [4] - 纯合成数据训练存在风险,可能导致模型性能下降,因此多数实验室仍依赖现实世界数据 [1]