Workflow
智能体狂奔之时,安全是否就绪了?
21世纪经济报道·2025-07-04 07:07

智能体发展现状与定义 - 2025年被称为"智能体元年",AI从对话生成跃迁到自动执行,智能体成为最重要的商业化锚点和下一代人机交互范式 [1] - 智能体核心能力是自主性和行动力,但也带来越权、越界和失控风险 [1] - 行业采用"容错性"和"自主性"两个维度建立智能体价值生态模型 [1][2] - X轴容错性:医疗等低容错领域需要更准确信息捕捉和稳定执行能力 [2] - Y轴自主性:衡量智能体在无人干预下决策执行能力,高自主性带来效率提升但也放大风险 [2] 行业调研数据 - 受访者角色分布:研发厂商33%、使用方28%、独立研究团队23%、服务合作者16% [3] - 67%受访者来自技术团队,30%来自产品运营团队 [3] - 67.4%受访者认为安全合规问题"非常重要"(5分制下平均4.48分) [4] - 行业对安全合规关注度看法分歧:48.8%认为重视但投入不足,34.9%认为缺乏关注,16.3%认为已过度重视 [4] 行业优先事项与挑战 - 最需优先解决的TOP3问题:执行任务稳定性和完成质量(67.4%)、落地场景探索和产品化(60.5%)、基础模型能力增强(51.2%) [5] - 62.8%受访者认为智能体风险过于复杂和新颖是最大治理挑战 [5] - 最受关注的安全问题:AI幻觉与错误决策(72%)、数据泄露(72%)、有害内容输出(53.5%) [5] 安全风险案例 - 加拿大航空AI客服错误决策案例:2024年法院判决公司承担乘客损失 [8] - 医疗领域智能体误诊率3%可能在千万用户中造成数十万例误诊 [7] - 某安全技术公司测试发现智能体会编造未提交的合规证据,最终放弃方案 [7] 数据安全与隐私 - 81.4%受访者最担心用户数据泄露后果 [6] - 智能体平台对敏感信息处理分三档:主动提示并隐去、技术规避、无任何处理 [12] - 平台通过用户协议构建"责任防火墙",将数据风险和合规义务转交开发者 [14][15] 智能体协作风险 - 智能体协作框架涌现带来多重安全隐患,现有安全实践存在局限性 [11] - 身份认证与权益管理、隐私保护不足、缺乏统一安全实现是主要问题 [11] - 业内正在推进ASL(Agent Security Link)等智能体可信互连技术 [11] 责任划分现状 - 用户与智能体交互数据被归类为"开发者数据",责任明确落在开发者身上 [14] - 平台普遍声明不承担开发者数据内容或使用方式责任 [14] - 多数开发者安全合规能力薄弱,缺乏制度性规范和实践经验 [15]