Post-training

搜索文档
喝点VC|红杉美国对谈OpenAI前研究主管:预训练已经进入边际效益递减阶段,其真正杠杆在于架构的改进
Z Potentials· 2025-07-04 11:56
AI技术发展现状与趋势 - 预训练、后训练和推理构成AI发展的"三位一体"框架 预训练已进入边际效益递减阶段 真正杠杆在于架构改进 后训练聚焦模型个性与智能表现 推理能力训练则引导AI自主摸索链式思维[4][8] - 2025年成为"推理之年" 各大实验室重点转向推理优化 但后续进展将越来越困难[5][7] - 预训练收益递减源于基本规律 模型智能水平与计算资源呈对数线性增长 提升智能需指数级增加计算资源[7][8] Agent商业模式与竞争格局 - Agent价格将趋近计算使用成本 普适性和性价比将颠覆传统人力密集型领域[6][18] - 简单重复性任务由AI完成 复杂需人类理解的服务保持价值稀缺性[19][26] - 创业公司机会在于构建网络效应和规模经济 而非依赖高价Agent[21][26] 机器人技术突破与商业化 - LLMs为机器人提供低成本语言接口 结合强大视觉编码器 赋予处理通用任务的先发优势[24][25] - 机器人领域正处于研究最后阶段 距离商业化仅数月到数年时间[22][25] - 技术突破使机器人能快速解决多样化任务 如叠衣服、搬运纸箱等[25] 编程领域变革与未来趋势 - 编程发展呈现非线性加速 未来将形成混合模式:人类主导设计+Agent自动编码[32][34] - Agentic工程师处理明确结果的任务如bug修复、代码重构 人类负责需"品味"的设计工作[34][35] - 关键挑战在于如何让Agent理解代码库 目前仍需人类进行高层次设计[33][35] 专有数据价值重估 - 专有数据价值被高估 "无限智能、无限耐心"的Agent可从公开数据重构替代信息[29][30] - 真正有价值的专有数据是具体客户的深度个性化信息 可辅助专业决策而非训练技能[31] - 垂直领域专属模型表现普遍不如下一代通用模型 因综合能力远超单纯记忆[29] 企业管理与文化构建 - 技术团队应消除研究员与工程师界限 建立平等环境促进全栈理解[37][38] - 管理者核心是真诚关心团队成员 建立忠诚度才能推动困难决策[50][51] - 高绩效人才管理需平衡个人创作欲望与团队协作目标[52] AI教育应用与人才培养 - AI最佳应用是帮助用户成为领域专家 同时减轻重复性工作负担[42][43] - 教育应聚焦学习过程和自主能动性培养 而非特定技能[43][44] - 即时响应式学习能抓住最佳学习时机 大幅提升教育效果[46] 安全防御新范式 - AI使攻击能力提升 防御措施需更加自主化和智能化[53] - 企业需重构业务流程以适应自主安全系统 这为创业公司创造机会[53]