核心观点 - 2025年AI进入大规模商业落地关键阶段，AI安全成为必要环节而非加分项 [1] - AI智能体面临两大核心风险：失控行为（如恶意提示注入）和敏感数据泄露 [2][9] - 传统安全范式在AI时代失效，需采用"混合式纵深防御"体系融合确定性安全与AI动态防御 [4][40] - 谷歌提出智能体安全三大原则：人类监管、权力限制、行动可观察 [5][33][35][37] AI智能体风险分析 风险类型 - 失控行为风险：包括提示注入攻击、指令误解、环境交互失误等 [26][27] - 敏感数据泄露风险：通过操作副作用或输出内容进行隐蔽泄露 [29][30] 风险根源 - 不可预测性：相同输入可能导致不同行为 [10] - 行为涌现：出现未编程的复杂行为 [10] - 自主性放大风险：决策权越高破坏力越大 [10][28] - 对齐难题：处理模糊指令时难以符合用户意图 [10] - 身份与权限管理挑战 [10] 混合式纵深防御体系 第一道防线：策略引擎 - 确定性安全机制，在行动执行前拦截审查 [42] - 依据操作风险、上下文和行为链进行评估 [42] - 提供可预测的硬性安全边界 [42] 第二道防线：基于推理的动态防御 - 利用AI模型能力评估风险 [43] - 包括对抗性训练、专职守护模型、风险预测 [46] - 具有灵活性和上下文感知能力 [44] 持续验证机制 - 回归测试确保安全补丁有效 [45] - 变体分析预判威胁演变 [45] - 红队模拟攻击、用户反馈、安全专家审计 [45] 智能体安全三大原则 人类监管原则 - 每个智能体需有明确控制者 [34] - 高风险操作需人类二次确认 [34] - 多用户场景需精细授权模型 [34] 权力限制原则 - 权限需与预期用途严格对齐 [35] - 实施上下文感知的动态权限限制 [35] - 杜绝智能体自我提升权限 [35] 行动可观察原则 - 记录输入、工具调用、参数传递等关键节点日志 [37] - 行动属性需清晰标记分类 [37] - 用户界面展示思考过程和参考数据 [37] 行业趋势 - AI安全从"事后补救"转向"设计即安全" [6] - 安全工程扩展到整个系统架构 [6] - 智能体将成规模部署，形成"智能体舰队" [8]