终端智能体安全

搜索文档
应对AI新安全挑战,首份智能体安全白皮书发布
北京日报客户端· 2025-07-30 19:38
行业趋势 - AI领域正从大模型时代迈向智能体时代 智能体快速渗透进手机 眼镜 耳机 车机等各种终端设备 成为连接人 设备与环境的关键枢纽[1] - 生活 工业 医疗 教育等多个行业正在被更主动 更拟人化的终端智能体重新定义交互方式[1] - 终端智能体是一种运行在端侧的智能体 不再是传统意义上的智能终端 也不是完全云端运行的智能体[1] 安全挑战 - 智能体存在越权 过度代理等安全挑战 风险边界向模型行为 身份伪造 环境感知误导 算法伦理等深层问题蔓延[1] - 超过70%的智能体从业者担忧AI幻觉与错误决策 数据泄露等问题 其中超半数受访者表示所在企业尚未设立明确的智能体安全负责人[3] 解决方案 - 上海人工智能实验室 信通院 蚂蚁 IIFAA联盟联合发布《终端智能体安全2025》白皮书 首次系统梳理智能体风险分类 发现风险方法和防御风险措施[1] - 白皮书提出三大防护路径:单智能体安全 多智能体可信互连 AI终端安全[2] - 单智能体安全技术包括安全护栏 数据去毒 基座对齐和柔性管理 多智能体可信互连技术包括可信数据流转 可信服务流转 可信身份认证和可信记忆共享 AI终端安全技术包括可信隐私沙箱 跨设备可信连接[2] - 蚂蚁集团大模型安全解决方案蚁天鉴升级 新增智能体安全评测工具 具备智能体对齐 mcp安全扫描 智能体安全扫描及零信任防御等核心功能[3] - 蚁天鉴的智能体风险研判准确率达到96%以上 可支持11个行业的智能体测试[3]
大模型智塑全球产业新秩序论坛在沪举办
中国经济网· 2025-07-29 15:29
大模型技术发展趋势 - 大模型技术在智能体、多模态、开源等领域持续创新,成为全球共同发展方向 [1] - 大模型产业应用进入深水区,正在重塑全球产业格局与生态,需关注真实效果与实际价值 [1] - 7月28日上海举办"大模型智塑全球产业新秩序论坛",聚焦前沿产业突破与垂直领域应用实践 [1] 中国信通院与政府战略部署 - 中国信通院作为国家智库,通过深化研究、完善基础设施、参与国际治理三方面推进大模型产业高质量发展 [1] - 上海徐汇区贯彻"建成全国人工智能高地"战略,已形成产业链创新闭环,未来将加速构建大模型产业生态体系 [1] 行业合作与倡议发布 - 中国信通院联合10家机构发布"大模型开源安全倡议",提出构建安全标准体系、保障开源要素安全等四点倡议 [2] - 上海人工智能实验室等联合发布《终端智能体安全(2025)》,提出全方位安全防护体系,推动智能体应用安全发展 [2] 论坛组织与支持 - 论坛由世界人工智能大会组委会指导,中国信通院主办,多家单位协办和支持,打造大模型行业顶尖盛会 [3]
终端智能体成为安全新战场 “可不可信”迫在眉睫
21世纪经济报道· 2025-07-28 18:33
AI眼镜与终端智能体发展现状 - AI眼镜被视为继手机之后的下一代智能终端,具备捕捉人脸、行为轨迹、环境影像等功能,但隐私泄露风险突出,尤其在数据采集、处理、传输环节存在窃听、篡改风险 [1] - 2025年AI大模型加速下沉,智能体渗透至手机、眼镜、耳机、车机等终端设备,重新定义生活、工业、医疗、教育等行业的交互方式,例如Meta Quest 4 Pro实现毫米级手势识别,华为Vision Glass 2025支持眼动触发导航 [2] - 终端智能体从传统智能终端演进为"端侧"运行的新形态,技术变化带来体验边界突破,如荣耀Magic6 Pro的AI助手可基于用户行为自动推送登机牌、健康码等服务 [2] 终端智能体的安全挑战 - 终端智能体风险从数据泄露扩展至模型行为、身份伪造、环境感知误导、算法伦理等深层问题,例如智能眼镜易被用于无感知偷拍或数据中转攻击 [3][7] - 《白皮书》提出六大风险层级:设备层、数据层、模型层、端云协同层、接口层、业务层,细化至"用户身份""恶意prompt工程""权限滥用"等具体攻击路径 [7] - 模型层风险中,提示词诱导(Prompt Injection)攻击可通过构造输入诱导模型泄露内部逻辑或输出违法内容,智能座舱助手若误判疲劳状态可能引发真实空间安全风险 [7][8] 智能化演进的技术特征 - 智能化深度从移动APP简单赋能力演进至AI原生,交互从单模态升级为多模态及空间智能,服务模式从用户被动服务转向主动服务 [5] - 场景复杂性从单场景服务扩展至全场景任务编排,连接宽度从单一APP完成任务发展为跨应用复杂协同,实现设备与物理世界、智能体之间的广泛连接 [5] - 跨设备多智能体协同带来信任、身份、安全问题新挑战,如链路不可信、授权不可信、身份流通困难,以及全面连接导致的数据传输风险敞口扩大 [6] 行业安全解决方案与生态建设 - 《白皮书》提出三大防护路径:单智能体安全(安全护栏、数据去毒)、多智能体可信互连(可信数据流转、身份认证)、AI终端安全(可信隐私沙箱、跨设备连接) [8] - 蚂蚁集团在Rokid Glasses、小米AI眼镜中应用可信交互服务技术,升级"蚁天鉴"大模型安全解决方案,新增智能体安全评测四大功能 [9] - IIFAA联盟推出智能体可信互连技术ASL,构建智能体间可信连接、运行时安全保护、业务安全防护三大核心能力,覆盖MCP、A2A等通信协议 [10]
智能体向更多终端延伸,隐私保护如何跟上?
第一财经· 2025-07-28 18:15
智能体发展趋势 - 智能体正从单一任务向编程辅助、社会互动、经济治理等复杂场景拓展[1][3] - 智能体由集中式云端算力向轻量化本地终端部署演进,ToC端对隐私保护、响应速度与个性化体验需求增强[3] - 轻量型终端智能体可在手机、穿戴设备等终端直接运行,具备自主推理与快速交互能力,谷歌助手、Siri、Alexa、Cortana等产品已广泛应用[3] - ChatGPT、Copilot等大语言模型智能体正向端侧迁移与轻量化适配[3] 多智能体协同发展 - 多智能体可信互连成为行业趋势,通过协同交互完成复杂任务[4] - 多智能体架构需实现高效通信、深度协作与动态交互,打破信息孤岛并优化资源配置[4] - 复杂任务场景要求智能体系统具备处理海量异构数据、动态环境与多元决策的能力[3][4] 终端智能体安全挑战 - 终端智能体安全边界突破传统信息安全范畴,延伸至数字与物理世界的边缘交互接口[3] - 多智能体发展面临数据泄露、越权操作、隐私侵犯、算法偏见等安全威胁[4] - 单一主体安全能力难以应对跨域协同、攻防升级的系统性挑战,需构建"数据共享、能力协同、标准互认"的安全生态体系[5] 安全生态建设 - 需通过多方参与、资源整合与技术协同构建终端智能体安全可持续发展根基[5] - 数据、技术、应用三方联动是构建终端智能体安全共同体的关键[5] - 高精度、高质量的安全评测数据集是安全风险探测的核心驱动力[6]