文章核心观点 - 生成式人工智能在金融行业的高速应用凸显了安全与合规的紧迫性，通用AI安全机制存在显著的领域特定风险识别缺口 [5][7] - 研究提出了首个面向金融服务的AI内容安全分类体系，旨在弥合通用框架与金融实际应用间的差距 [5][7] - 实证研究表明，当前主流防护机制在应对金融领域复杂、语境敏感的风险时有效性不足，亟需构建具备上下文感知能力的安全框架 [9][21] 研究背景与目标 - 研究由彭博首席技术官办公室下属的多个团队跨部门协作完成，旨在填补金融服务领域特定AI内容安全框架的空白 [6] - 核心目标是帮助金融机构以更负责任的方式部署生成式AI系统，结合红队测试、上下文感知防护及与监管要求一致的风险分类方法 [7] 金融行业关键利益相关方及其风险 - 买方机构（如共同基金、对冲基金）负有受托责任，生成式AI在研究支持、个性化服务等方面的应用需确保内容的可靠性、可解释性与合规性 [8] - 卖方机构（如投资银行、经纪交易商）需平衡技术创新与合规要求，尤其在面向零售客户时需遵循严格的适当性标准 [8] - 技术供应商在将生成式AI嵌入其系统时面临直接或间接的监管审查，需深入理解技术设计对客户的影响 [10] 三大关键风险领域 - 信息源风险：涉及敏感客户数据和重大非公开信息的处理，一旦发生隐私泄露或MNPI滥用，机构将面临严重监管后果 [10] - 沟通风险：市场营销、客户沟通等受严格内容规范约束，生成式AI若产生误导性陈述或遗漏关键风险，可能构成监管违规 [11] - 投资活动风险：AI在交易策略支持等应用可能引发市场操纵、欺诈甚至非故意内幕交易，卖方机构和技术供应商均需高度警惕 [11] AI风险分类体系构建 - 研究区分“系统无关风险”（如模型训练数据缺陷导致的错误信息）和需结合金融场景评估的全面风险 [12][14] - 倡导采用全面风险评估方法，充分考虑买方、卖方及技术供应商在职责分工与风险暴露方面的差异 [14] - 定量技术手段（如静态基准测试与红队测试）可支持对生成式AI行为进行规模化评估，两种方法相辅相成 [15] 金融服务领域首个AI内容安全分类体系 - 分类体系包含机密信息披露、反事实叙述、歧视、金融服务公正性、金融服务不当行为等16个具体风险类别 [16][17] - 分类区分了违反正式法规的内容和可能引发声誉风险的内容，使机构能根据具体应用语境灵活调整防护机制 [16][19] - 该框架具备良好适应性，可根据不同司法辖区的监管要求、组织角色及系统设计约束进行调整 [19] 实验关键发现 - 对广泛使用的AI防护系统测试显示，其在处理金融相关查询时无法有效识别大量领域特定风险，存在显著安全缺口 [21] - 即便引入扩展后的风险分类体系，通用防护机制的识别能力仍有限，常遗漏重要金融风险类别或产生过多误报 [21] 讨论与建议 - 实现有效的生成式AI安全管理需嵌入多层次的防护策略，包括自动化机制、人工审核及违规升级处理 [23] - 风险缓解策略需与实际应用场景匹配，例如对敏感金融查询提供免责声明，对涉及MNPI的问题实施严格屏蔽 [23] - 通用安全框架在金融领域必须进行调整，领域特定风险框架需明确界定金融建议、不当行为等类别，并考虑法律义务和司法辖区差异 [24]