纪要涉及的行业 人工智能（AI）行业，尤其是软件公司构建AI产品相关领域 纪要提到的核心观点和论据 公司样本情况 - 样本构成：调查涵盖300位构建AI产品的软件公司高管，包括CEO、工程主管、AI主管和产品主管等[16] - 公司地域与营收：88%总部位于北美，12%位于欧洲；营收分布多样，部分公司被定义为高增长公司，需满足AI产品有市场表现、年收入至少1000万美元及一定营收增长要求[19][20] AI产品发展情况 - 产品类型：代理工作流和应用层是AI原生和AI赋能公司常见产品类型，约80%的AI原生公司正在构建代理工作流[33] - 模型使用：多数构建AI应用的公司依赖第三方AI API，高增长公司更多微调现有基础模型或开发专有模型；后期公司（年收入超1亿美元）因资源和定制需求更倾向此类做法[36][37] - 模型选择考量：面向客户用例选择基础模型时，公司首要考虑模型准确性；成本在今年数据中重要性提升，反映模型层商品化趋势[39][40] - 模型提供商：OpenAI的GPT模型最受欢迎，公司越来越多地采用多模型方法，根据用例、性能、成本和客户需求选择不同提供商和模型[42][46] - 模型训练技术：检索增强生成（RAG）和微调是常见训练技术，高增长公司更多使用基于提示的技术；与去年相比，更多受访者使用RAG和微调技术[49][50] - AI基础设施：多数公司使用基于云的解决方案和AI API提供商进行训练和推理，这种模式可降低前期资本支出和运营复杂性，但依赖供应商选择、SLA协商和成本管理；少数公司采用混合方法或本地基础设施[52][53] - 模型部署挑战：部署模型时，公司面临的主要挑战包括幻觉、可解释性/信任和证明ROI等；构建垂直AI应用的公司在可解释性和信任方面面临更高要求[55][56] - AI性能监控：随着AI产品规模扩大，性能监控变得更重要，许多规模化AI产品提供某种高级性能监控[58] - 代理工作流：大量公司在评估代理工作流，高增长AI公司更积极地在生产中部署AI代理[61] 市场策略与合规情况 - 产品路线图：AI赋能公司约20 - 35%的产品路线图专注于AI驱动功能，高增长公司这一比例接近30 - 45%[66] - 定价模型：许多公司使用混合定价模型，结合订阅/基于计划的定价与基于使用量或基于结果的定价；目前多数AI赋能公司将AI功能包含在高级产品层或免费提供，预计未来可能转向基于使用量的模型[69][70] - 定价变化：40%的公司无改变定价计划，37%的受访者正在探索基于消费、ROI和使用层级的新定价模型[75] - AI可解释性和透明度：随着AI产品规模扩大，为客户提供详细的模型透明度报告或基本洞察AI如何影响结果变得更关键[78] - AI合规和治理：多数公司有AI伦理和治理政策的护栏，大多数受访者使用人工监督确保AI公平性和安全性[81] 组织结构情况 - 专用AI/ML领导：许多公司在年收入达到1亿美元时设立专用AI领导，以应对运营复杂性和AI战略集中管理需求[86] - AI特定角色：多数公司拥有专用AI/ML工程师、数据科学家和AI产品经理，AI/ML工程师平均招聘时间最长[89] - 招聘速度：受访者对招聘速度看法不一，招聘速度慢的主要原因是缺乏合格候选人[92] - 工程团队专注度：公司平均计划让20 - 30%的工程团队专注于AI，高增长公司这一比例更高[95] AI成本情况 - AI开发支出：公司平均将约10 - 20%的研发预算分配给AI开发，多数公司计划在2025年增加AI支出[100] - 预算分配：随着AI产品规模扩大，人才成本在总支出中的比例下降，基础设施和计算成本增加[103] - 基础设施成本：API使用费用是最难控制的基础设施成本，反映公司在外部API消费可变成本方面的不确定性；公司通过探索开源模型和优化推理效率降低成本[106][110] - 模型训练成本：多数受访者至少每月训练或微调模型，每月模型训练成本根据产品成熟度在16万美元至150万美元之间[113] - 推理成本：推理成本在产品推出后激增，高增长AI公司在通用可用性和规模化阶段的支出是同行的两倍[114] - 数据存储和处理成本：数据存储和处理成本从通用可用性阶段开始急剧上升，高增长AI公司在这方面支出更多[117] 内部生产力情况 - 内部生产力预算：2025年企业内部AI生产力预算预计接近翻倍，企业支出占总收入的1 - 8%；研发预算仍是AI内部生产力预算的主要来源，部分企业开始使用人员预算[122][125] - AI访问和使用：约70%的员工可访问内部生产力AI工具，但只有约50%的员工持续使用；成熟企业（年收入超10亿美元）的采用难度更大[129] - 模型选择考量（内部用例）：为内部用例选择基础模型时，成本是最重要考虑因素，其次是准确性和隐私[133] - 模型部署挑战（内部用例）：企业部署AI用于内部用例时，主要挑战是战略层面的（如找到合适用例和证明ROI）而非技术层面[136] - 用例数量和影响：公司通常探索多个生成式AI用例，员工采用率高的公司使用7个以上用例；编码辅助对生产力的影响远超过其他用例，高增长公司平均33%的代码由AI编写，所有公司平均为27%；受访者表示这些用例平均提高15 - 30%的生产力[139][144][145] - 内部AI采用态度：高增长公司更积极地试验和采用新AI工具，表明领先公司将AI视为战略杠杆并更快地将其集成到内部工作流程中[147] - ROI跟踪：多数公司测量内部AI使用带来的生产力提升和成本节约，部分公司跟踪定量和定性的AI驱动效率提升[150][151] AI构建技术栈情况 - 模型训练和微调工具：核心深度学习框架（如PyTorch和TensorFlow）和完全托管或API驱动的产品（如AWS SageMaker和OpenAI的微调服务）都很受欢迎；Hugging Face生态系统和Databricks的Mosaic AI Training有一定市场；后期公司更倾向满足企业需求的解决方案[159] - LLM和AI应用开发工具：编排框架占主导地位，安全和高级SDK受关注；新兴玩家使用较少，表明标准化尚未形成[160][161][162] - 监控和可观测性工具：近一半团队依赖现有APM/日志堆栈，ML原生平台（如LangSmith和Weights & Biases）开始获得市场份额；市场分散，存在知识差距[166][167][168] - 推理优化工具：NVIDIA的TensorRT和Triton推理服务器占主导地位，ONNX Runtime和TorchServe是替代方案；市场存在知识差距和未开发潜力[172][175][173] - 模型托管工具：多数团队直接使用供应商的推理API，AWS Bedrock和Google Vertex AI有一定市场份额；市场分散，团队仍在探索特色主机[177][180] - 模型评估工具：多数团队使用平台内置评估功能，专业框架（如LangSmith和Langfuse）开始获得关注；市场存在知识差距和DIY情况[182][183][186] - 数据处理和特征工程工具：Apache Spark和Kafka占主导地位，Python工具（如Panda）也有一定使用；专用特征存储使用较少，未来可能增长[188][189][192] - 向量数据库工具：Elastic和Pinecone领先，Redis和开源解决方案受关注；团队在不同后端进行实验以平衡成本、延迟和功能需求[194][195][196] - 合成数据和数据增强工具：多数团队自行构建工具，Scale AI是第三方领先平台；程序化框架开始获得关注[200][201][202] - 编码辅助工具：GitHub Copilot占主导地位，Cursor有一定市场；市场存在长尾解决方案，低代码或无代码解决方案受关注[208] - DevOps和MLOps工具：MLflow领先但不垄断，多数团队使用跟踪优先平台，尚未采用端到端MLOps套件；市场存在混淆和待发展情况[210][211][213] - 产品和设计工具：Figma是UI/UX和产品设计的标准，Miro用于高级协作；设计团队使用低代码或无代码解决方案进行快速原型设计[215][216][217] 其他重要但是可能被忽略的内容 - 免责声明：报告用于教育目的，不构成投资建议；包含前瞻性陈述，实际结果可能与预期有重大差异；信息可能来自公开来源，ICONIQ不保证信息准确性；报告内容可能随时间变化，ICONIQ无更新义务[225][226][228][229][230] - 合规限制：报告仅供专业客户，未经ICONIQ事先同意，禁止复制、分发或披露报告内容[1][227]