大模型的数据生意:人类如何蒸馏自己
晚点LatePost·2026-11-05 23:25

文章核心观点 - 大模型训练进入新阶段:网上现成文本越来越难满足训练需求,行业开始从人类实际工作过程中收集数据,让模型学习专家的工作轨迹与判断方法 [3][4] - 数据生产已成为大模型训练中最重要的一环,重复琐碎的数据标注与示范工作支撑起百亿美元级的数据供应商市场 [3][4] - 中国模型公司在2026年初集体行动,将数据团队升级至核心管理层级,同时数十家数据供应商涌现 [4] - 数据需求从通用任务扩展到金融、法律、医疗、核物理、芯片设计等高价值专业领域,专家经验成为稀缺资源 [4][16] - 买家高价买断数据但必须清楚自身需求,供应商规模扩大后难以持续提供细分长尾数据,差距从对数据的敏感度和品味拉开 [19][20] - 训练模型的人也开始将自身工作交给模型,研究员大量时间花在清理样本、调整数据配比、编写评分规则上 [21][22] 数据生产的工作模式与参与者 - 成都中和与天津侯台等城郊老村镇聚集了大量为大型互联网公司训练大模型的人员,大多月薪不足1万元,每天核对事实、检查答非所问、打分比较优劣并亲手写示范 [3] - 模型要学的任务从财务分析、修改程序扩展到生物制药、芯片设计,人需为这些任务准备示范和评分标准 [3] - Anthropic被评价为"最大的创新就是数据",2025年开始从律师等人类实际工作中收集数据:记录接到合同后查哪些法规、修改哪些条款、如何复核的全过程,整理成训练数据 [3] - 教授、科学家、投行和律所从业者开始兼职出题、写答案、演示操作、评价模型,参与者被戏称为"人奸"或"碳奸" [4] 中国模型公司的数据团队布局 - 腾讯混元负责人姚顺雨直接管理混元数据团队 [4] - 阿里将千问的数据团队交给集团合伙人委员会成员范禹 [4] - 字节在年中将Seed旗下Global Data团队升级为AI数据与安全部门,与Seed平行,服务所有大模型团队 [4] - DeepSeek绝大多数员工从事数据相关工作,梁文峰偶尔也会参与数据标记 [21] - 姚顺雨接手混元后重新清洗已有数据、迭代基础设施,使混元3 Preview明显超越前代;正式版再优化后训练数据、扩大强化学习规模后能力又有提升 [21] 数据供应商的市场格局与估值 - 2025年《福布斯》估算Surge AI价值约240亿美元;同年10月Mercor融资估值达到100亿美元 [4] - 有的创业公司只有两三个人,专为一个行业搭建强化学习环境,Anthropic一单就能包下它们一整年的产能 [4] - 2026年初以来中国出现数十家数据供应商,UniPat估值已达30亿美元 [4] - Mercor曾花费超过50万美元请金融、法律、医疗和管理咨询领域专业人士制作200道任务,平均每道开发成本超过2500美元,出题者有人曾在高盛、摩根大通和麦肯锡工作 [17] - Surge AI有超过400人的专家顾问团 [17] - 中国专家数据平台Humanlaya聚集约300个行业和学科的超过10万名专家,2026年获得高瓴、红杉中国、今日资本等机构投资,估值接近10亿美元 [17] - UniPat超过半数员工是大模型研究员,公司自己做模型、开发评测基准,也与大厂联合研究以预判需求、提前生产数据 [18] 数据需求的两大迫切类型 - 目前最迫切的需求是编程和工作两类 [5] - 编程数据有两种用途:练习评测集中的题目在排行榜拿高分,或学习实际任务如开发游戏、搭建3D模型;需求最旺盛时一些模型厂每天在编程数据上的投入可超过1000万美元 [5] - 工作数据要还原办公过程:从文件找资料、读懂邮件中的要求和期限、往表格填数字、编辑文档、查询网页和数据库、调用工具 [5] - 金融和法律行业经济价值高,大量任务在线上完成、以Office文件交付,是比较理想的训练环境 [5] - 数学、物理等有标准答案的数据仍用于探索能力上限,但"收不了太多钱" [15] 一条训练数据的构成与生产流程 - 以饮料公司杠杆收购测算为例,训练数据包括任务邮件、11份工作材料、要提交的3项成果、24个评分问题,资深专家完成用时约13.5小时,现有AI平均得分29% [8] - 专家需提供完整测算表、投资报告及当时用到的资料:收购双方信息、被收购公司经营数据(利润、经销商返利、销量、原料成本等)、行业报告、借款条件和收购条款 [14] - 专家要还原制作过程:读邮件确认收购价格和回报要求、查经营资料核对利润和返利支出、根据销量和原料价格估算收入与成本、填表计算借款利息和还本金额、调整价格和经营预期比较投资回报、最后提出建议,每一步都要说明查了什么、做了什么、为什么这样做 [14] - 专家还得写评分清单:哪些环节必须做好、哪些只是加分项、哪些错误会让整份作业不合格;再请另一位专家复核,两位专家按同一清单评分结果应基本一致,否则改标准;模型轻易拿满分的题会被筛掉 [14][15] - 任务邮件、原始资料、参考测算表和报告、操作记录、评分清单共同构成一条训练数据 [15] - 难的是还原真实工作:报告往往边写边改,中途会有新材料新要求,有些修改依据留在邮件和聊天记录里,有些只是专家凭经验作出的判断没有记录 [15] - 信息不全模型做不出未必是能力不够,把信息一次给齐它又学不到如何应对变化;越贴近真实工作、没有唯一答案的任务数据需求越大 [15] 数据定价与交易机制 - 一条人工数据售价从几百元到上万元不等,一批通常至少1000条,海外报价数字相近但单位换成美元 [16] - 任务越复杂价格越高,一份投资机构完整尽调案例包括投资意见底稿、财务模型和被投公司经营数据,报价可达5万元 [16] - 核物理、芯片设计等小众领域数据更稀缺,市面上一出现就会被抢走 [16] - 月之暗面训练K3时在海外买了一批用于芯片设计的电子设计自动化(EDA)数据,价格在数百万美元左右,K3技术报告展示了相关探索但官方定位为早期概念验证、披露的是仿真结果 [16] - 字节早期训练大模型时从内容审核团队抽人,还付钱请正式员工下班后写数据,内部戏称为"众包";员工为AI陪伴产品猫箱编写对话,一条长数据有100-200轮,审核通过后报酬基本能上千元,有的人一个月能拿上万元 [16] - 字节如今通过Xpert平台招募专家,Seed STEM科学家计划邀请100位前沿科学领域学者 [16] - 一位在AI数据平台兼职的法律行业人士每月交付约40条数据拿到2万多元,平均每条约600元,第一次做一条花75分钟,熟悉后约半小时 [17] - 专家的头衔不等于数据质量,许多教授不亲自做实验难以还原硕士生博士生的一线操作;平台雇用既懂行业又懂算法的全职员工检查数据并挑出可重复使用的出题方法,10位专家交来的方案如果有5种能换材料换条件继续出题,就安排算法人员扩成50条、500条 [17] 大厂采购策略与验收标准 - 外部供应商愿意一份数据卖多家,但大厂普遍愿意支付3-4倍溢价永久买断或限时独占;今天合格的训练数据半年后可能只剩一成有用 [20] - 蚂蚁买金融数据时会把一个投研报告类需求拆成上百个案例、十多个子类,写清每类多少篇、案例什么样,"做蚂蚁的项目很多时候是亏钱的" [20] - 验收先看合规再看质量,字节明确禁止蒸馏和使用非法API;买家通常逐条读样本检查结论是否深入、输入文件是否有错、有没有空白文档 [20] - 一家模型公司的一号位曾问供应商文件格式名里多了一个空格、prompt里没写这个空格训给模型会不会有问题 [20] - 另一个办法是拿去训练看评测能否涨分,不涨通常就不会继续采购 [20] - 月之暗面拒绝过Surge AI提出的深度独家合作,知情人士称他们认为供应商规模大了交付会更多集中于通用任务,很难持续提供细分长尾数据 [20] 数据过时与灰色交易 - 数据能批量生产也会很快过时:一家大厂订购教模型修复代码错误的数据还没交付模型已从其他数据学会,任务执行系统更新也可能让修复代码变得更容易,这批数据就不值原来的价钱 [18] - 除大厂和头部创业公司外,小红书、米哈游、京东、九坤、蚂蚁等也有数据需求,各家进度不同,别家用过的数据起步晚的团队可能还用得上 [18] - 一些交易不在明面上:创业公司攒下模型厂商账号转卖API调用服务再出售调用产生的数据;另一些公司从模型公司内部人员手里买数据转卖给同行,经手人可能在算法、工程、基础设施或采购岗位,部分交易靠回扣维系,单笔合同数百万元乃至上千万元,内部人员从中分成 [18] 模型公司自产数据的困境 - 月之暗面研究员称编程任务分修复错误、开发功能、编写测试、重构代码、优化性能等方向,先做什么、怎样搭环境和验证结果团队起初没经验人手又少,"很多数据其实都是实习生自己拍脑袋做的,很粗糙" [19] - 公司开发编程命令行产品时想先让同事使用积累反馈,但内部真正用得上的不足50人;即使开放给付费用户高质量样本也未必多,一位大厂办公Agent产品经理称产品用的模型不是最顶级的、用户任务也不一定复杂,"有的时候几万条里才可能用到几条",涉及工作文件和隐私数据使用也更谨慎 [19] - 外部出现更强模型团队就倾向于用其输出训练自己的模型减少人工数据生产,蒸馏难以继续带来提升时人工需求又会上升 [19] - 一位独立模型厂人士测算高峰期可能需要6000人生产数据,低谷期连2000人都用不上,总共只有几百人的模型公司不可能长期养着这样一支团队 [19] 数据从业者收入与激励错配 - 一位头部互联网公司研究员称公司一支团队做了1万条数据训练效果很好,很多参与者月薪只有8000-9000元,按18薪算一年不到20万元;同一公司算法人员年薪包则在1000万元左右 [21] - 效果上去了奖励主要给算法团队,数据做得好坏员工到手的钱差别不大 [21] - 履历耀眼的算法研究员如今也把大量时间花在清理样本、调整数据配比、编写评分规则上,这与他们入行时追逐新算法新架构的期待不同 [21] 强化学习与评分规则的挑战 - 2024年9月OpenAI发布o1、2025年1月DeepSeek发布R1,强化学习让模型在反复尝试中根据得分调整解题方式,数学有答案编程能测试,研究员期待模型从中学到推理再用到其他领域 [21] - 但会写报告、回客户邮件的好坏评判不像解题编程这么容易,模型还可能为拿奖励而"钻空子":编造看似合理的过程骗过负责评分的模型,研究员只好回来改数据、改评分规则、补漏洞 [22] - 竞争压缩时间:最近一年多个公司后训练团队往往每一两个月就要发一个版本,研究员从早上10点半工作到深夜,休假也带着电脑 [22] - "本质上大家在技术路径、数据处理和质量上都拉不开代差,就看谁先发出来","很多事拖个两三个月做出来也没了意义" [22] - 为赶进度研究员指挥模型批量收集修改数据、让更强模型检查结果、自己盯着过程处理问题,模型越强能接手的步骤越多下一轮训练也能更快开始 [22] 模型接手研究员工作 - 2026年OpenAI在一篇介绍内部研发变化的文章里说编程Agent已深度参与研究员日常:写实验代码、跑测试、排查基础设施故障 [22] - Anthropic披露一次常规升级导致数万个训练任务崩溃,工程师把故障信息和集群访问权限交给Claude,模型逐项测试环境设置找出引发故障的调试开关、复现问题并验证修复,公司称这项通常需要人做两三天的工作模型用了约2小时 [23] - 一位工程师形容工作就是"面对一群Claude,每一个都在争夺他的注意力" [23] - 研究员把各行业专家的知识经验和判断做成数据训练模型接手他们的工作,现在模型要学的也包括研究员每天正在做的事 [23]

大模型的数据生意:人类如何蒸馏自己 - Reportify