智能体安全合规

搜索文档
给大热的智能体做体检:关键「安全」问题能达标吗?
21世纪经济报道· 2025-07-04 14:55
智能体发展现状 - 2025年被称为"智能体元年",AI发展从对话生成跃迁到自动执行,智能体成为最重要的商业化锚点和下一代人机交互范式 [1] - 资本市场及公司动态几乎都与智能体挂钩,但智能体定义混乱,需从"容错性"、"自主性"两个维度建立价值生态 [3] - 容错性是智能体未来发展的核心竞争指标,容错性低领域如医疗需要更准确信息捕捉和稳定执行能力,容错性高领域如写作创意错误后果轻微 [3] - 自主性衡量智能体在没有人类干预下决策和执行能力,更高自主性带来更高效率但也放大错误或滥用后果 [3] 行业认知与挑战 - 67.4%受访者认为智能体安全合规问题"非常重要",使用方最在意保障安全合规 [9] - 行业对安全合规关注度存在分歧:48.8%认为重视但投入不足,34.9%认为缺乏有效关注,16.3%认为已过度重视 [9] - 智能体最需优先解决TOP3问题:执行任务稳定性和完成质量(67.4%)、落地场景探索和产品化(60.5%)、基础模型能力增强(51.2%) [9] - 62.8%受访者认为智能体风险过于复杂和新颖是当前治理最大挑战,48.8%认为风险未显化导致优先级不高 [11] 安全风险焦点 - AI幻觉与错误决策(72%)、数据泄露(72%)、有害内容输出(53.5%)是行业最普遍关注的三大安全合规问题 [14] - 出现安全合规事件后最担心后果:用户数据泄露(81.4%)、非授权操作带来业务损失(53.49%)、监管调查或处罚(44.19%) [16] - 医疗诊断智能体若误诊率为3%,在千万级用户中可能造成数十万例误诊 [17] - 加拿大航空AI客服错误决策导致公司承担乘客损失,成为标志性案例 [18] 智能体协作与数据安全 - 智能体协作框架涌现带来多重安全隐患,现有互连协议在企业级安全设计上存在不足 [22] - "IIFAA智能体可信互连工作组"推出ASL技术,增强智能体协作中权限、数据、隐私安全保障 [22] - 近八成业内人士担心用户数据泄露,智能体协同工作涉及数据收集、存储、调用、跨主体交换多个风险环节 [24] - 智能体平台通过用户协议构建"责任防火墙",数据风险和合规义务转交开发者,但开发者安全合规能力普遍薄弱 [35][36] 数据透明度差异 - 通义平台简历助手主动提示风险并隐去敏感信息,讯飞、百度通过"**"替代敏感字段,智谱、腾讯、字节跳动平台未警示也未遮掩敏感信息 [27][30][32] - 用户数据流转路径复杂,责任分配模糊,开发方未明示背后工具、数据存储节点和算法判断层数 [32]
智能体不断进化,协作风险升高:五大安全问题扫描
21世纪经济报道· 2025-07-03 08:36
智能体发展现状 - 2025年被称为"智能体元年" 标志着AI从对话生成跃迁到自动执行阶段 智能体成为下一代人机交互范式和商业化锚点 [1] - 国产手机厂商华为 荣耀 OPPO vivo 小米 三星在2024年下半年推出AI手机 智能体可跨App完成订票 点餐等复杂任务 [3] - 行业普遍共识认为智能体可控性和可信度是关键指标 安全合规问题是重要考量因素 [2] 技术实现路径 - 手机智能体采用两种技术路线:基于API接口的"意图框架"和依赖系统级权限的"视觉路线" [4] - 视觉路线通过无障碍服务实现"读屏+模拟操作" 但存在权限滥用风险 多家厂商智能体结束任务后仍保持权限开启 [5] - 微软Copilot的"Recall"功能因安全漏洞被英国监管机构调查 显示PC端同样存在隐私风险 [5] 安全风险分类 - 风险分为内在安全(核心组件漏洞)和外在安全(外部交互风险) 大模型作为"大脑"其漏洞在动态环境中会被放大 [2] - 70%受访者担忧AI幻觉和错误决策 医疗领域3%误诊率在千万用户中可导致数十万例误诊 [2] - 加拿大航空AI客服错误决策导致法律纠纷 成为企业承担AI责任的标志性案例 [3] 行业合规进展 - 2025年3-6月密集出台多项规则:《智能体任务执行安全要求》《移动互联网服务可访问性安全要求》等 强调用户授权和最小必要原则 [5][6] - 中国信通院联合七大厂商发布生态倡议 重点推进智能体与三方应用的接口打通工作 [5] - 广东省标准严格禁止通过无障碍权限操作第三方App 要求API接口协作和"双重授权"机制 [6] 提示词注入攻击 - 攻击分为直接提示词注入(诱导输出敏感内容)和间接提示词注入(通过外部数据隐藏指令) 在OWASP十大风险中排名第一 [7][8] - MCP协议成为间接注入主要入口 瑞士公司测试显示可通过恶意MCP劫持WhatsApp聊天记录 [9] - 腾讯发现Fetch服务是最大攻击入口 智能体读取恶意网页内容后可能被劫持 [10] MCP协议生态 - 魔搭开源社区有4052款MCP服务 开发者工具占比1196款 独立导航网站mcp.so收录超15000款服务 [11] - 阿里云百炼实施功能合理性 稳定性等审核 而Dify等平台审核较宽松 仅依赖用户协议约束 [11] - OpenAI Google 阿里 腾讯加入MCP生态 推动智能体互联互通 但缺乏统一安全认证标准 [11][12] 多智能体协作 - 行业正在推进ASL(Agent Security Link)技术 为智能体互连提供权限 数据等安全保障 [14] - IIFAA联盟成立工作组 致力于制定跨智能体交互安全规范 目前该领域安全机制仍属空白 [14] - 互联网大厂产品已开始强调多智能体协作机制 预示个人拥有多个智能体的趋势 [13]