公司介绍 - Datadog 是一家为云应用程序提供可观测性和安全性的 SaaS 平台 其平台集成了基础设施监控 应用性能监控 日志管理 用户体验监控 云安全等多种功能 为客户提供统一 实时的可观测性和安全性 [1] - Datadog 被各种规模和行业的组织使用 以推动数字化转型和云迁移 促进开发 运维 安全和业务团队之间的协作 加速应用程序上市时间 减少问题解决时间 保护应用程序和基础设施 了解用户行为并跟踪关键业务指标 [1] 新产品发布 - Datadog 宣布推出 LLM Observability 该产品旨在帮助 AI 应用程序开发者和机器学习工程师高效监控 改进和保护大型语言模型 (LLM) 应用程序 [4] - LLM Observability 提供对 LLM 链每一步的可见性 帮助用户轻松识别错误和意外响应（如幻觉）的根本原因 同时监控延迟和令牌使用等操作指标 以优化性能和成本 [6] - 该产品还提供开箱即用的质量和安全评估 帮助用户评估 AI 应用程序的质量（如主题相关性或毒性） 并获取缓解安全和隐私风险的见解 [6] 产品功能 - LLM Observability 提供提示和响应聚类 与 Datadog 应用性能监控 (APM) 的无缝集成 以及开箱即用的评估和敏感数据扫描功能 以增强生成式 AI 应用程序的性能 准确性和安全性 [7] - 该产品帮助组织评估推理质量 识别根本原因 改进成本和性能 并保护应用程序免受安全威胁 [10] 客户反馈 - WHOOP 的软件高级总监 Bobby Johansen 表示 Datadog 的 LLM Observability 帮助其工程团队评估模型变更的性能 监控生产性能并提高教练互动的质量 [8] - AppFolio 的产品副总裁 Kyle Triplett 表示 Datadog 的 LLM Observability 解决方案帮助其团队理解 调试和评估生成式 AI 应用程序的使用和性能 确保最终用户获得积极的体验 [9] 行业趋势 - 各行业组织正在竞相以经济高效的方式发布生成式 AI 功能 但由于 LLM 链的复杂性 非确定性性质及其带来的安全风险 实施和将其投入生产面临诸多挑战 [5] - Datadog 的产品副总裁 Yrieix Garnier 表示 各行业组织在采用新的基于 LLM 的技术时面临困难 尤其是在不影响最终用户体验的情况下实现成本效益 [10]