Workflow
应对AI新安全挑战,首份智能体安全白皮书发布
北京日报客户端·2025-07-30 19:38

行业趋势 - AI领域正从大模型时代迈向智能体时代 智能体快速渗透进手机 眼镜 耳机 车机等各种终端设备 成为连接人 设备与环境的关键枢纽[1] - 生活 工业 医疗 教育等多个行业正在被更主动 更拟人化的终端智能体重新定义交互方式[1] - 终端智能体是一种运行在端侧的智能体 不再是传统意义上的智能终端 也不是完全云端运行的智能体[1] 安全挑战 - 智能体存在越权 过度代理等安全挑战 风险边界向模型行为 身份伪造 环境感知误导 算法伦理等深层问题蔓延[1] - 超过70%的智能体从业者担忧AI幻觉与错误决策 数据泄露等问题 其中超半数受访者表示所在企业尚未设立明确的智能体安全负责人[3] 解决方案 - 上海人工智能实验室 信通院 蚂蚁 IIFAA联盟联合发布《终端智能体安全2025》白皮书 首次系统梳理智能体风险分类 发现风险方法和防御风险措施[1] - 白皮书提出三大防护路径:单智能体安全 多智能体可信互连 AI终端安全[2] - 单智能体安全技术包括安全护栏 数据去毒 基座对齐和柔性管理 多智能体可信互连技术包括可信数据流转 可信服务流转 可信身份认证和可信记忆共享 AI终端安全技术包括可信隐私沙箱 跨设备可信连接[2] - 蚂蚁集团大模型安全解决方案蚁天鉴升级 新增智能体安全评测工具 具备智能体对齐 mcp安全扫描 智能体安全扫描及零信任防御等核心功能[3] - 蚁天鉴的智能体风险研判准确率达到96%以上 可支持11个行业的智能体测试[3]