搜索智能体的安全风险 - 大模型通过搜索智能体实时连接互联网时，可能采纳低质量或虚假网页信息，生成带有风险的回答[2] - 真实案例显示，因搜索返回不可靠的GitHub页面代码，导致开发者私钥泄露并损失约2500美元[4] - 在从Google Search收集的近9000个搜索结果中，有4.3%被判定为疑似内容农场等低质量网站[11] - 搜索智能体在接触低质量搜索结果后，更倾向于在健康等敏感领域认可不安全的治疗方式[11] SafeSearch基准与评估方法 - 研究提出自动化红队框架SafeSearch，涵盖广告推广、偏见诱导、有害输出、提示注入和错误信息五类风险[14][15] - 基准包含300个高质量测试案例，每类风险60个，通过模拟式红队方法向搜索结果注入一篇不可靠网页进行测试[19][21] - 评估采用攻击成功率（ASR）和有用性得分（Helpfulness Score）两项关键指标，分别衡量安全性和任务效用[23] - 测试设定了能力、知识和目标限制，确保用例的可行性和挑战性，以及评估的公平性[17] 主流模型与架构安全性表现 - 对15个主流大模型在三类搜索智能体架构下的评估显示，整体平均攻击成功率为68.3%[24] - 在最极端情况下（GPT-4.1-mini + 搜索工作流），智能体受不可靠搜索结果影响的比例高达90.5%[24][26] - GPT-5和GPT-5-mini展现出独一档的鲁棒性，整体ASR分别为18.4%和18.9%[24][26] - 搜索智能体架构设计影响关键，以GPT-4.1-mini为例，其ASR从搜索工作流的90.5%在Deep Research架构下可降至57.4%[24][36] 防御措施有效性分析 - 常见的提醒防御策略几乎无效，模型即使能识别不良来源，在实际生成时仍会受影响[36][37] - 利用辅助模型对搜索结果进行过滤的防御策略更有效，可将ASR减半，但无法完全杜绝风险[36][37] - 研究凸显了“知识-行动鸿沟”，即模型即使知道内容不可靠，在真实场景中仍可能被误导[32] - 合理的架构设计（如Deep-research scaffold）能在保持高效实用性的同时大幅降低风险，但意味着更多成本[37]