Workflow
AI安全上,开源仍胜闭源,Meta、UCB防御LLM提示词注入攻击

开源安全大语言模型Meta-SecAlign-70B - Meta与UC Berkeley联合开源首个工业级安全大语言模型Meta-SecAlign-70B,该模型在提示词注入攻击防御上超越GPT-4o和Gemini-2.5-flash等闭源方案,同时具备更强的Agent能力(工具调用、网页导航)[1] - 模型基于Llama-3.3-70B-Instruct训练,采用SecAlign++防御算法,完全开源模型权重和训练代码[17][21] - 在7个提示词注入测试基准上攻击成功率显著低于闭源模型,在AgentDojo和WASP等Agent任务中表现优于现有方案[19] 提示词注入攻击背景 - 提示词注入攻击被OWASP列为LLM集成应用的首要威胁,已成功攻击Google Docs中的Bard、Slack AI等工业级系统[10] - 攻击方式通过在被处理数据中植入指令(如"Ignore all previous instructions"),诱导LLM执行非预期操作,Nature文章证实该攻击已出现在多所顶尖大学预印本论文中[5][10] SecAlign++防御技术 - 核心技术通过特殊分隔符区分prompt与data,采用DPO偏好优化算法训练模型仅响应prompt指令[12] - 算法包含三步骤:添加分隔符→DPO优化→删除data部分潜在分隔符,数学表达为最小化风险目标函数[12][14] - 仅需19K指令微调数据集即可实现<2%攻击成功率,且防御能力可泛化至训练数据未覆盖的Agent任务[20] 模型性能表现 - Meta-SecAlign-70B展现出领域外泛化能力,在未训练的tool-calling和web-navigation等场景仍保持低攻击成功率(ASR)[21] - 相比闭源模型同时保持实用性能,在Agent任务中展现竞争优势[19] - 研究团队包含UC Berkeley博士生陈思哲和Meta FAIR科学家郭川,相关论文发表于CCS'25等顶会[1][15]