文章核心观点 - 人工智能应用在带来革命性机遇的同时，也潜藏着从模型幻觉到智能体失控等诸多显性风险，企业面临错失机遇与管控风险的双重挑战 [1][3] - 企业领导者的核心挑战在于应对这一棘手现实，各方在实践中的首要关切是建立人工智能的问责制与透明度 [3] 根据相关目录分别进行总结 人工智能应用的风险与挑战 - 人工智能应用潜藏着模型幻觉、智能体失控等显性风险 [1] - 绝大多数企业难以承受错失人工智能革命的代价，这构成了企业领导者面临的核心挑战 [3] 建立问责制与透明度 - 各方的首要关切是建立问责制，即能够追踪并回溯人工智能系统执行任务的全部操作步骤 [3] - 企业不仅需要打造高准确率的系统，更需在系统出错时建立透明度与内省性，以追溯问题根源并向监管机构说明解决方案 [3] - 汤森路透将透明度作为其“受托级”产品的四大核心支柱之一，强调任何模型的输出结果都必须通过验证机制予以确认 [3][4] 实现有效监管与验证的方法 - 设计可实现有效相互监管的系统是一项重要方法，例如在自动驾驶汽车中搭载多套系统同时模拟评估多种场景并选出最优方案 [4] - 借鉴“大语言模型裁判”技术，通过独立的智能体担任“编辑”角色来检查错误或疏漏，实现系统的自我迭代优化，且验证环节必须由独立的人工智能系统承担 [4] - 随着人工智能承担的任务日益增多，人工验证所有输出已不现实，建立一套智能的人工智能验证架构变得愈发关键 [4][5] 行业实践与未来趋势 - 计算机编程行业在相关实践上比其他行业领先约一年，例如探索让智能体模拟安全关键领域的人工验证流程来审核海量人工智能生成的代码，而非依赖人工 [5] - 过去为安全关键技术研发的各类验证方法，预计将重新应用于日常业务场景 [5]