AI产品评估的重要性 - AI发展进入下半场，重点从解决问题转向定义问题，评估的重要性将超过训练，需要更接近产品经理的思维方式[1] - 评估是运用科学方法的持续实践，而非一劳永逸的工具，需要持续监测AI输出[7] - 评估驱动的开发（EDD）是推动AI产品进步的核心方法，类似于测试驱动的开发[12] 构建产品评估体系的科学方法 - 评估体系遵循观察数据、标注数据、提出假设、设计实验、测量结果的循环流程[8] - 需建立平衡且有代表性的数据集，正负样本比例应接近五五开，覆盖各类输入场景[8] - 实验结果必须量化，准确率提升、缺陷减少等可衡量的改进才是有效改进[9] 评估驱动的开发（EDD）实践 - EDD要求在开发AI功能前先定义成功标准，确保有明确目标和可衡量指标[12] - 通过"写评估-做改动-跑评估-整合改进"的循环实现可衡量的进步[12] - 评估提供即时客观反馈，帮助判断提示词调整、系统更新等改进是否有效[12] 自动化评估工具与人工监督 - 自动化评估工具（LLM-as-judge）需要人工监督校准，不能完全取代人工[14] - 需持续采样输出并标注质量缺陷，用高质量标注数据校准自动评估工具[14] - 理想产品设计应能通过用户交互获取隐式反馈，同时结合显式反馈[14]