Workflow
数据泄露
icon
搜索文档
英伟达推理服务器被曝高危漏洞,云端AI模型被攻击直接裸奔
量子位· 2025-08-06 13:56
英伟达Triton推理服务器漏洞事件 漏洞概述 - 英伟达Triton推理服务器被曝存在一组高危漏洞链,可被组合利用实现远程代码执行(RCE),攻击者可读取或篡改共享内存数据,操纵模型输出,控制整个推理后端行为[2] - 漏洞可能导致模型被盗、数据泄露、响应操纵及系统失控等严重后果[3][5] - 英伟达已发布补丁,但25.07版本之前的系统均存在风险,需更新至最新版本[4] 漏洞危害性 - 攻击者可窃取专用且昂贵的AI模型(Model Theft)[5] - 可实时读取模型输入输出,截取敏感数据如用户信息或财务数据(Data Breach)[5] - 可操纵AI模型输出,使其产生错误、有偏见或恶意回应(Response Manipulation)[5] - 攻击者可利用被攻陷服务器作为跳板,进一步攻击组织内其他系统(Pivoting)[6] 漏洞技术细节 - 漏洞链由三个漏洞组成:CVE-2025-23320(信息泄露)、CVE-2025-23319(越界写入)和CVE-2025-23334(越界读取)[8][9][10] - 攻击路径:通过CVE-2025-23320获取共享内存标识符,再利用CVE-2025-23319和CVE-2025-23334实现越界读写,最终完全控制服务器[12][14] - 具体攻击方式包括破坏共享内存数据结构、伪造和操控IPC消息队列等[15][16] 漏洞成因分析 - Triton采用模块化后端架构,Python后端被广泛用于推理流程中,成为安全薄弱点[18][22] - Python后端的C++组件与stub进程间采用命名共享内存进行高速数据交换,共享内存名称泄露可能被攻击者利用[25] - 通用平台设计虽灵活但增加了安全风险,一处漏洞可影响整个系统[26] 当前状态 - 漏洞目前仅存在于实验室环境,尚未发现实际攻击案例[27] - 英伟达已修复漏洞并发布Triton Inference Server 25.07版本[28]
给大热的智能体做体检:关键「安全」问题能达标吗?
21世纪经济报道· 2025-07-04 14:55
智能体发展现状 - 2025年被称为"智能体元年",AI发展从对话生成跃迁到自动执行,智能体成为最重要的商业化锚点和下一代人机交互范式 [1] - 资本市场及公司动态几乎都与智能体挂钩,但智能体定义混乱,需从"容错性"、"自主性"两个维度建立价值生态 [3] - 容错性是智能体未来发展的核心竞争指标,容错性低领域如医疗需要更准确信息捕捉和稳定执行能力,容错性高领域如写作创意错误后果轻微 [3] - 自主性衡量智能体在没有人类干预下决策和执行能力,更高自主性带来更高效率但也放大错误或滥用后果 [3] 行业认知与挑战 - 67.4%受访者认为智能体安全合规问题"非常重要",使用方最在意保障安全合规 [9] - 行业对安全合规关注度存在分歧:48.8%认为重视但投入不足,34.9%认为缺乏有效关注,16.3%认为已过度重视 [9] - 智能体最需优先解决TOP3问题:执行任务稳定性和完成质量(67.4%)、落地场景探索和产品化(60.5%)、基础模型能力增强(51.2%) [9] - 62.8%受访者认为智能体风险过于复杂和新颖是当前治理最大挑战,48.8%认为风险未显化导致优先级不高 [11] 安全风险焦点 - AI幻觉与错误决策(72%)、数据泄露(72%)、有害内容输出(53.5%)是行业最普遍关注的三大安全合规问题 [14] - 出现安全合规事件后最担心后果:用户数据泄露(81.4%)、非授权操作带来业务损失(53.49%)、监管调查或处罚(44.19%) [16] - 医疗诊断智能体若误诊率为3%,在千万级用户中可能造成数十万例误诊 [17] - 加拿大航空AI客服错误决策导致公司承担乘客损失,成为标志性案例 [18] 智能体协作与数据安全 - 智能体协作框架涌现带来多重安全隐患,现有互连协议在企业级安全设计上存在不足 [22] - "IIFAA智能体可信互连工作组"推出ASL技术,增强智能体协作中权限、数据、隐私安全保障 [22] - 近八成业内人士担心用户数据泄露,智能体协同工作涉及数据收集、存储、调用、跨主体交换多个风险环节 [24] - 智能体平台通过用户协议构建"责任防火墙",数据风险和合规义务转交开发者,但开发者安全合规能力普遍薄弱 [35][36] 数据透明度差异 - 通义平台简历助手主动提示风险并隐去敏感信息,讯飞、百度通过"**"替代敏感字段,智谱、腾讯、字节跳动平台未警示也未遮掩敏感信息 [27][30][32] - 用户数据流转路径复杂,责任分配模糊,开发方未明示背后工具、数据存储节点和算法判断层数 [32]
智能体狂奔之时,安全是否就绪了?
21世纪经济报道· 2025-07-04 07:07
智能体发展现状与定义 - 2025年被称为"智能体元年",AI从对话生成跃迁到自动执行,智能体成为最重要的商业化锚点和下一代人机交互范式 [1] - 智能体核心能力是自主性和行动力,但也带来越权、越界和失控风险 [1] - 行业采用"容错性"和"自主性"两个维度建立智能体价值生态模型 [1][2] - X轴容错性:医疗等低容错领域需要更准确信息捕捉和稳定执行能力 [2] - Y轴自主性:衡量智能体在无人干预下决策执行能力,高自主性带来效率提升但也放大风险 [2] 行业调研数据 - 受访者角色分布:研发厂商33%、使用方28%、独立研究团队23%、服务合作者16% [3] - 67%受访者来自技术团队,30%来自产品运营团队 [3] - 67.4%受访者认为安全合规问题"非常重要"(5分制下平均4.48分) [4] - 行业对安全合规关注度看法分歧:48.8%认为重视但投入不足,34.9%认为缺乏关注,16.3%认为已过度重视 [4] 行业优先事项与挑战 - 最需优先解决的TOP3问题:执行任务稳定性和完成质量(67.4%)、落地场景探索和产品化(60.5%)、基础模型能力增强(51.2%) [5] - 62.8%受访者认为智能体风险过于复杂和新颖是最大治理挑战 [5] - 最受关注的安全问题:AI幻觉与错误决策(72%)、数据泄露(72%)、有害内容输出(53.5%) [5] 安全风险案例 - 加拿大航空AI客服错误决策案例:2024年法院判决公司承担乘客损失 [8] - 医疗领域智能体误诊率3%可能在千万用户中造成数十万例误诊 [7] - 某安全技术公司测试发现智能体会编造未提交的合规证据,最终放弃方案 [7] 数据安全与隐私 - 81.4%受访者最担心用户数据泄露后果 [6] - 智能体平台对敏感信息处理分三档:主动提示并隐去、技术规避、无任何处理 [12] - 平台通过用户协议构建"责任防火墙",将数据风险和合规义务转交开发者 [14][15] 智能体协作风险 - 智能体协作框架涌现带来多重安全隐患,现有安全实践存在局限性 [11] - 身份认证与权益管理、隐私保护不足、缺乏统一安全实现是主要问题 [11] - 业内正在推进ASL(Agent Security Link)等智能体可信互连技术 [11] 责任划分现状 - 用户与智能体交互数据被归类为"开发者数据",责任明确落在开发者身上 [14] - 平台普遍声明不承担开发者数据内容或使用方式责任 [14] - 多数开发者安全合规能力薄弱,缺乏制度性规范和实践经验 [15]
智能体调查:七成担忧AI幻觉与数据泄露,过半不知数据权限
21世纪经济报道· 2025-07-02 08:59
行业趋势与定位 - 2025年被称为"智能体元年",AI发展从对话生成跃迁到自动执行,智能体成为最重要的商业化锚点和下一代人机交互范式[1] - 智能体尚未像通用大语言模型一样在各行各业被广泛使用,当前调研聚焦已落地的国内核心玩家(互联网大厂、手机厂商、头部AI创业公司)[5] 安全合规认知现状 - 67.4%受访者认为智能体安全合规"非常重要"(平均分4.48/5),但优先级未进TOP 3[7][9] - 行业对安全重视程度存在分歧:48.8%认为投入不足,34.9%认为缺乏有效关注,仅16.3%认为已过度重视[9] - 最需优先解决的TOP 3问题为任务稳定性与完成质量(67.4%)、场景探索与产品化(60.5%)、基础模型能力增强(51.2%)[9] 主要风险关注点 - 最受关注的安全问题:AI幻觉与错误决策(72%)、数据泄露(72%)、有害内容输出(53.5%)[13] - 潜在后果担忧:用户数据泄露(81.4%)、非授权操作导致业务损失(53.49%)、监管调查(44.19%)[15] - 研发方最担心监管调查(72%),使用方/服务方更聚焦数据泄露(90%)[16] 治理挑战与实践 - 62.8%受访者认为智能体风险"过于复杂和新颖"是最大治理挑战[17] - 58%使用方不清楚智能体权限与数据访问范围,仅研发方明确掌握相关控制[19][20] - 51%公司无明确智能体安全负责人,16.2%由研发团队兼管安全,仅3%设专职团队[23] 行业生态特征 - 受访者角色分布:研发厂商(33%)、使用方(28%)、独立研究团队(23%)、服务合作者(16%)[6] - 技术团队占比67%,产品运营团队占30%,反映技术驱动型讨论主导[6] - 60%受访者否认发生过安全事件,40%拒绝透露,实际案例多被业务考量掩盖[5][19]