AI行业发展趋势 - AI领域竞争重心正从模型参数与训练技巧转向定义有价值问题和构建真实场景评估体系[6] - 当前AI社区面临基准测试收益递减问题 基准饱和速度加快但解决现实问题进展有限[6] - 下半场需将AI嵌入人类环境 实现多轮互动式服务 如客服场景中的动态调整[6] 场景为王时代的公司选择标准 - 合格公司需具备持续做AI能力 包括大规模用户体量 高频刚需交互 多元化商业结构[11] - 技术-业务耦合强度是关键 AI应作为核心驱动力而非锦上添花 确保技术快速部署[12] - 商业化验证能力是试金石 需观察AI驱动营收案例和客户付费意愿[13] - 稳定商业回报才能支撑算力投入和人才薪酬 缺乏变现的企业面临生存挑战[14] 腾讯的AI场景优势 - 微信14.02亿月活和QQ5.34亿月活提供全球稀缺的高频社交场景[16] - 业务矩阵覆盖社交 游戏 广告 内容生产等 形成TOB+TOC完整数据闭环[16] - 混元模型和元宝等AI技术深度嵌入微信 《和平精英》AI队友等核心业务[17] - 2025Q1财报显示AI驱动广告收入增长20%至319亿元 游戏收入增长24%至595亿元[18] 腾讯青云计划人才机制 - 提供自由探索环境 非KPI导向 可自主选择游戏 广告等亿级用户场景课题[24] - 配备顶级科学家导师 协助梳理业务场景 2023年有成员28岁晋升T12专家[25][26] - 2025年升级筛选标准 通过CVPR会议 校企课题等渠道接触候选人[27][28] - 计划覆盖混元大模型 优图实验室等10+技术团队 提供群星晚宴等交流机会[29]

AI产品评估的重要性 - AI发展进入下半场，重点从解决问题转向定义问题，评估的重要性将超过训练，需要更接近产品经理的思维方式[1] - 评估是运用科学方法的持续实践，而非一劳永逸的工具，需要持续监测AI输出[7] - 评估驱动的开发（EDD）是推动AI产品进步的核心方法，类似于测试驱动的开发[12] 构建产品评估体系的科学方法 - 评估体系遵循观察数据、标注数据、提出假设、设计实验、测量结果的循环流程[8] - 需建立平衡且有代表性的数据集，正负样本比例应接近五五开，覆盖各类输入场景[8] - 实验结果必须量化，准确率提升、缺陷减少等可衡量的改进才是有效改进[9] 评估驱动的开发（EDD）实践 - EDD要求在开发AI功能前先定义成功标准，确保有明确目标和可衡量指标[12] - 通过"写评估-做改动-跑评估-整合改进"的循环实现可衡量的进步[12] - 评估提供即时客观反馈，帮助判断提示词调整、系统更新等改进是否有效[12] 自动化评估工具与人工监督 - 自动化评估工具（LLM-as-judge）需要人工监督校准，不能完全取代人工[14] - 需持续采样输出并标注质量缺陷，用高质量标注数据校准自动评估工具[14] - 理想产品设计应能通过用户交互获取隐式反馈，同时结合显式反馈[14]

AI发展阶段划分 - 当前处于AI发展的中场阶段 上半场以模型创新和基准测试为核心 下半场将从"解决问题"转向"定义问题"[2][3] - 上半场的标志性成果包括DeepBlue AlphaGo GPT-4等 这些突破基于搜索 深度强化学习 模型规模化和推理等根本性创新[2] - 下半场的关键转变在于评估比训练更重要 需要重新思考如何定义问题和衡量进展 思维方式需向产品经理靠拢[3] AI上半场特征 - 上半场的赢家主要是训练方法和模型创新 如Transformer AlexNet GPT-3等 而非基准测试本身[4] - 方法比任务更具通用性 例如Transformer架构推动了计算机视觉 自然语言处理 强化学习等多个领域发展[7] - 上半场游戏规则是开发新方法提升基准测试 再创建更难的基准测试继续循环 这种方法持续几十年并催生重大突破[8] 强化学习突破 - 强化学习取得重大进展的关键在于获得泛化能力 通过语言预训练与强化学习融合形成通用解决方案[3][9] - 强化学习三要素中 先验知识的重要性超过算法和环境 语言预训练提供了关键的先验知识[14][15] - 将推理作为特殊"行动"加入强化学习环境 使模型能利用语言预训练的先验进行泛化[20] AI下半场趋势 - 下半场需要从根本上重新思考评估框架 创造新的评估方式以突破现有解决方案的限制[23][26] - 当前评估框架与现实世界存在差异 例如评估应自动进行和i.i.d.假设等问题需要被质疑和突破[27][29] - 下半场的重点是将智能转化为有用产品 可能创造价值数十亿或数万亿美元的公司[29][32] 技术突破路径 - 有效解决方案的关键成分包括：大规模语言预训练 规模化（数据和算力） 以及推理与行动的概念[9] - OpenAI早期尝试将数字世界变为强化学习环境 但未能解决跨领域迁移问题 直到GPT系列引入语言预训练先验[14][15] - 强化学习算法重要性下降 正确的先验知识和合适的环境配置成为关键突破点[21]