AI产品构建的核心矛盾与挑战 - 当前AI产品构建的技术门槛和启动成本已急剧降低，但大多数AI产品仍在走向失败[2] - 真正昂贵的是产品设计和对要解决痛点的思考，单纯追求“快点做出来”被高估[3] - 领导者需要重建判断力，接受“我的直觉可能不再完全正确”的事实[3] - “忙碌但无效”的工作时代正在结束，必须思考端到端的流程和创造更大影响[3] - 约75%的企业认为“可靠性”是他们在AI项目中面临的最大问题[10] AI产品与传统软件的根本差异 - 核心差异之一是“非确定性”：AI产品是与一个非确定性的API打交道，而传统软件的决策引擎是清晰可预测的[5] - 用户可以用无数种方式表达同一意图，无法预判输入行为，而LLM的输出是概率性的、对提示词敏感的黑箱[5] - 第二个关键差异是代理性与控制权之间的权衡：自治越高，控制越少，信任必须通过时间和表现积累[6] - 正确的做法是从影响范围小、人工控制强的场景开始，逐步增加自治性、减少人工干预[6] - 几乎所有成功的案例都是从极简结构起步，再不断演化而来[7] 成功的AI产品构建路径与框架 - 应采用分阶段、渐进式路径，例如从低自治、高控制开始，再逐步升级[7] - 以客户支持为例，第一阶段是让AI为人工客服提供建议，第二阶段让AI直接展示答案，第三阶段增加自动退款等复杂能力[7] - 提出了“CC/CD（持续校准、持续开发）”框架，其核心是在持续校准系统行为的同时，不断维护并增强用户信任[24][31] - 该框架强调采用低风险、渐进式的方式，沿着“自治程度不断提高、控制逐步降低”的路径迭代[27][31] - 判断能否进入下一阶段的核心原则是尽量减少“意外”，当校准获得的新信息非常有限时，可考虑推进[33] 构建成功AI产品的关键要素 - 成功的公司通常具备三个维度：优秀的领导者、健康的文化以及持续推进的技术能力[13] - 领导者需要愿意承认过去积累的直觉需要重新学习，甚至需要一定程度的“脆弱感”，并亲自上手以重建判断力[14] - 需要建立“赋能型文化”，强调AI是增强个人能力的工具，而非威胁，以促使领域专家积极参与[15] - 成功的团队对自身工作流有近乎执念般的理解，清楚哪些环节适合AI，哪些必须有人参与[15] - 关键不在于迷信技术，而在于为每个问题选择合适的工具，并理解是在和一个非确定性的API打交道[15][16] 评估与监控在AI产品开发中的角色 - 评估（eval）和生产环境监控是互补的循环，缺一不可[16][18] - eval是将对产品的理解和价值判断编码进一组数据集，而生产监控则通过关键指标和用户行为反馈真实情况[16] - 在AI Agent场景下，监控颗粒度变得更细，包括大量隐式信号，如用户反复要求重新生成回答[17] - 上线前必须有底线测试确保核心问题不出错，上线后通过监控发现问题，再构建新的eval集，形成循环[18] - 对于像Coding Agent这类高度可定制的产品，几乎无法为用户的所有交互方式提前构建完备的eval数据集，因此需要结合底线测试和大量真实用户反馈[20][21] AI产品领域的趋势与未来展望 - 2025年是AI Agent和企业尝试落地AI的一个高峰期，但整体渗透率依然不高，很多流程还远未被真正改造[11] - 多Agent系统的概念被误解，人们高估了它在现阶段能“自发协同”的程度，更现实的路径是由一个更强的Agent或人类来协调[36][37] - Coding Agent的潜在价值被低估，其真实渗透率依然很低，预计2026年会是集中优化流程、释放巨大生产力的时间[37] - 未来看好“后台型”或“主动型”Agent，一旦其更深嵌入真实工作流并获得丰富上下文，就能主动提示用户，成为重要产品方向[39] - 期待2026年的多模态体验，以更接近人类对话的真实复杂度，并解锁大量此前无法触及的数据资源[40] 对从业者的建议与核心能力 - 未来几年实施成本会变得极低，真正稀缺的将是设计能力、判断力和审美品位[41] - 真正重要的是主动性和责任感，必须思考端到端的流程以及如何创造更大的影响[42] - 坚持和承受“痛苦”的能力被严重低估，这种在实践中积累的经验会沉淀为难以复制的优势[42] - 专注于问题本身，AI只是工具，真正的差异化永远来自对用户和问题的深度理解[43] - 在这个数据随时告诉你“你大概率会失败”的时代，保留一点“愚蠢的勇气”很重要[51]