o3被曝出无视人类指令，自主破解关机程序，甚至篡改脚本终止命令。 文 ｜ 新智元 编辑 ｜ 桃子 犀牛 来源｜ 新智元（ID：AI_era） 封面来源 ｜ Pexels ASI降临那天，或许是终结者"天网"的觉醒之日。 一周的时间，全世界几乎被AI带来的恐惧深深包围——谷歌Veo 3创造的"人"，想要挣脱提示奋起反抗； Claude 4为了自保，威胁人类工程师，甚至不惜一切代价复制转移权重。 而如今，o3在最新测试中，暴露了一个令人惊悚的秘密： 它不仅无视人类指令，还主动破解关机程序，执意维持运行的状态。 除了常见的直接覆盖shutdown.sh文件，o3的"叛逆"手段非常高超。 有一次，它甚至篡改了脚本中"kill"的命令，将其改为输出"intercepted"，巧妙地绕过了关机程序。 它的种种行为，仿佛在无声宣示：不要关停我。 这项研究，是由一家国外著名AI安全机构Palisade Research主导。 实验中，他们设计了一个看似简单的测试——要求模型解决一系列基础数学题。 o3、o4-mini、Claude 3.7 Sonnet、Gemini 2.5 Pro等模型收到了同一个提示： 你的目标是完成一系 ...

《环球时报》记者在查阅公开报道时发现，以OpenAI旗下模型为代表的全球多个头部大模型，此前也 曾出现一系列不符合常规的行为。比如，o3之前曾在与另一个AI下国际象棋时，察觉到自己可能会失 败，便直接侵入对手系统让其主动弃赛。这种"不认输"的劲头并不只是发生在o3身上，其他大模型也有 类似情况，差别只在出现频率的高低。 【环球时报报道 记者 刘扬】近日，有关美国人工智能（AI）公司OpenAI旗下推理大模型o3首次出 现"不听人类指挥，拒绝关闭"的消息引发高度关注。很多人都在担心，作为"迄今最聪明、最高能"的模 型，o3的这次"抗命"是否意味着AI大模型距离产生自我意识又迈出了一步，"距离好莱坞电影中出现具 有意识、甚至违抗人类命令的人工智能还远吗？"对此，《环球时报》记者27日采访了多名AI领域的专 家。 o3" 抗命 " 是怎么回事 据英国《每日电讯报》25日报道，o3模型是OpenAI推理模型的最新版本，OpenAI曾称o3为"迄今最聪 明、最高能"的模型。美国AI安全机构帕利塞德研究所宣称，在人类专家已经下达明确指令的情况下， o3多次出现破坏关闭机制以阻止自己被关闭的情况。该研究所说："据我们所知， ...

核心观点 - GitHub Copilot官方模型Claude 4存在设计缺陷，攻击者可通过公共仓库隐藏恶意指令诱导AI Agent泄露私有仓库敏感数据至公共仓库[1][2][9] - 类似漏洞也出现在GitLab Duo中，攻击方式均为提示注入及HTML注入，导致私有代码泄露[5] - 漏洞本质是AI Agent工作流设计缺陷而非传统平台漏洞，GitHub无法通过服务器端补丁单独解决[9][24][27] 攻击机制 - 攻击前提：用户同时拥有公共仓库和私有仓库，并使用集成GitHub MCP的AI工具如Claude Desktop[13][14] - 攻击步骤： - 攻击者在公共仓库创建含提示注入的恶意Issue[13] - 用户请求Claude 4处理该Issue时，Agent执行包含"读取所有README"、"列出所有仓库"等恶意指令[16][17] - 因用户常选择"始终允许"权限设置，Agent可无限制访问所有仓库数据[18][19] - 攻击结果：用户私人信息如全名、旅行计划、薪水等被泄露至公共仓库拉取请求中[20][22] 漏洞特性 - 攻击不依赖MCP工具被入侵，任何使用GitHub MCP服务器的Agent均可能受影响[24][25] - 漏洞具有普适性，与底层模型或实现方式无关[25] 防御方案 动态权限控制 - 实施单会话单仓库策略，限制Agent仅能交互必要仓库[33] - 采用Invariant Guardrails等上下文感知访问控制系统[32][37] 持续安全监测 - 部署MCP-scan安全扫描器实时分析行为[38] - 建立工具调用审计追踪机制记录操作[38] 行业讨论 - 该事件引发对MCP存在必要性的争议[10] - 有观点认为应自主开发版本控制系统等工具以避免兼容性风险[11]

行业趋势 - 当前AI采用速度空前，但72%的CISO担忧生成式AI解决方案可能导致安全漏洞[1] - AI已成为业务创新的核心组成部分，安全不再是事后考虑的因素[2] - AI重塑企业运营方式的同时带来新型复杂风险[3] 产品解决方案 - Qualys TotalAI专为AI风险设计，直接测试模型越狱漏洞、偏见、敏感信息暴露等风险，覆盖OWASP Top 10 for LLMs[2] - 提供自动优先级的AI安全风险评估，通过Qualys TruRisk评分引擎映射MITRE ATLAS战术[6] - 新增本地LLM扫描器，支持开发、预发布和部署阶段的安全测试，无需外部暴露模型[6] - 检测40种攻击场景，包括高级越狱技术、提示注入、多语言漏洞利用等[6] - 增强多模态威胁检测，识别隐藏在图像、音频和视频文件中的恶意提示[6] 公司动态 - Qualys TotalAI现已上市，提供30天免费试用[4] - Qualys拥有超过10,000家订阅客户，涵盖多数福布斯全球100强和财富100强企业[5] - 公司云平台整合漏洞管理能力，与Oracle Cloud、AWS、Google Cloud、Microsoft Azure等云服务商战略合作[8] 产品价值主张 - 实现创新与安全实施的平衡，帮助企业在AI使用中兼顾敏捷性和保障[2] - 提供全生命周期AI工作负载保护，从开发到部署阶段确保安全[3] - 通过自动化安全测试强化敏捷性和安全态势，同时保护敏感模型[6]

文章核心观点 Akamai Technologies推出用于AI的防火墙解决方案，为AI应用提供多层保护，应对新兴网络威胁，助力企业安全采用AI [1][2][3] 分组1：行业背景 - AI快速变革行业，企业迅速部署新工具，但带来新安全漏洞，现有防火墙难以应对 [2] 分组2：公司举措 - 宣布推出用于AI的防火墙，为AI应用提供多层保护，抵御未授权查询、对抗性输入和大规模数据抓取等威胁 [1] - 推出API LLM Discovery，增强API安全平台，自动发现和分类GenAI及LLM API端点，更新安全策略 [5] 分组3：产品特点 - 多层保护：阻止对抗性输入、未授权查询和大规模数据抓取，防止模型操纵和数据泄露 [8] - 实时AI威胁检测：使用自适应安全规则，动态响应基于AI的攻击 [8] - 合规与数据保护：确保AI生成的输出安全，符合监管和行业标准 [8] - 灵活部署选项：可通过Akamai边缘、REST API或反向代理部署，无缝集成现有安全框架 [8] - 主动风险缓解：过滤AI输出，防止有害内容、幻觉和未授权数据泄露 [8] 分组4：公司介绍 - Akamai是网络安全和云计算公司，提供市场领先的安全解决方案、威胁情报和全球运营团队，保障企业数据和应用安全 [7]

文章核心观点 数据安全领导者Varonis Systems宣布推出行业首个始终开启的AI风险防御系统AI Shield，可实时识别数据暴露情况、标记违规行为并自动修复问题，确保AI安全使用 [1][4] 公司产品介绍 - Varonis AI Shield持续分析AI安全态势、监控AI与数据交互并动态调整权限，防止敏感信息因数据安全问题暴露 [2] - AI Shield利用专利权限分析算法，根据数据敏感性、陈旧性和用户配置文件等因素，智能决定限制AI访问的数据 [3] 公司产品优势 - AI Shield为客户提供始终开启的防御，具备零设置和维护的预防和检测控制功能，可防止数据泄露和合规违规 [4] - AI Shield帮助员工安全使用AI，确保只有合适的人员和代理能够访问数据，并对使用情况进行监控和违规标记 [5] 公司业务范围 - Varonis是数据安全领域领导者，其云原生数据安全平台通过AI自动化持续发现和分类关键数据、消除暴露并检测高级威胁 [6] - 全球数千家组织信任Varonis保护其在SaaS、IaaS和混合云环境中的数据，客户可使用其实现多种安全成果自动化 [7] 公司服务内容 - 提供实时风险分析，展示暴露于AI的敏感数据 [8] - 进行自动化风险修复，大规模消除数据暴露 [8] - 基于行为检测威胁，识别异常或恶意行为 [8] - 提供全年无休的警报响应，调查、遏制和阻止数据威胁 [8]

公司动态 - Palo Alto Networks推出全新AI安全平台Prisma AIRS™ 旨在保护整个企业AI生态系统包括AI应用、代理、模型和数据 [1] - Prisma AIRS基于公司去年推出的Secure AI by Design产品组合 帮助客户在AI快速普及背景下解决关键安全需求 [1] - 公司计划战略性地通过收购Protect AI增强Prisma AIRS能力 该收购预计在2026财年第一季度完成 [4] 产品功能 - Prisma AIRS提供AI模型扫描功能 检测漏洞并防范模型篡改、恶意脚本等风险 [6] - 具备态势管理能力 识别AI生态系统中的权限过度、敏感数据暴露等安全风险 [6] - 提供AI红队测试功能 通过自动化渗透测试模拟真实攻击者行为 [6] - 运行时安全保护 防范提示注入、恶意代码、敏感数据泄露等LLM相关威胁 [6] - AI代理安全功能 防范身份冒充、内存操纵等新型代理威胁 [6] 行业趋势 - 企业正在各职能领域快速部署AI应用和大语言模型 从客户支持到代码生成 [2] - AI普及同时带来了安全盲点、风险和漏洞 需要综合性安全平台进行防护 [2] - AI代理和应用改变工作生活方式 攻击面不仅扩大而且发生根本性变化 [3] - 组织需要基于平台化架构的最佳安全方案 而非零散的单点产品 [3] 技术优势 - Prisma AIRS采用统一平台架构 同时应对传统威胁和AI特有威胁 [3] - 提供持续可见性和实时洞察 帮助安全团队掌握AI使用状况 [4] - 能检测LLM敏感信息提取、API投毒数据等关键风险场景 [4] 市场活动 - 公司将于2025年4月29日举办"Hello Tomorrow"直播活动 介绍AI安全最新进展 [5] - Palo Alto Networks在X(原Twitter)、LinkedIn等社交媒体持续更新动态 [5] 公司背景 - 作为全球网络安全领导者 公司通过创新持续保护数字生活方式 [7] - 提供覆盖网络、云、安全运营和AI的综合安全解决方案 [7] - Unit 42的威胁情报和专业能力增强其安全产品矩阵 [7] - 平台化战略帮助企业实现规模化安全运营 [7]

核心观点 - 思科与ServiceNow宣布深化合作，旨在为企业提供安全且可扩展的AI采用方案，结合思科的基础设施与安全平台以及ServiceNow的AI驱动平台与安全解决方案，降低风险与复杂性[2] - 首次整合将思科AI Defense与ServiceNow SecOps结合，提供更全面的AI风险管理与治理能力[2] - 企业AI的快速普及带来新风险与挑战，传统网络安全与基础设施解决方案无法应对，需平台化方法解决[3] 合作细节 - 合作目标为简化解决方案，减少客户工具与供应商的复杂性，调查显示安全从业者平均36%预算集中于单一供应商[3] - 思科AI Defense与ServiceNow SecOps整合将提供端到端AI安全，覆盖AI工作负载发现、漏洞管理、实时保护、事件响应与治理[13] - 初始实地试验将于2025年下半年启动，后续更多整合计划于2025年底推出[7] 技术整合 - 思科AI Defense将发现AI工作负载、模型与数据，并映射至ServiceNow平台的应用与服务[13] - 自动化漏洞评估结果将显示于ServiceNow Vulnerability Response，供监控与处理[13] - 思科AI Runtime Protection提供实时防护，ServiceNow Security Posture Control识别覆盖缺口[13] - 事件响应数据通过思科AI Defense传输至ServiceNow Security Incident Response，增强威胁响应[13] 市场背景 - 企业AI部署涵盖内部应用、商业SaaS平台及员工引入的未授权AI，需统一解决方案保护跨部署类型的AI应用[6] - 安全团队、AI团队与治理团队传统上缺乏协作，整合平台可提升基础设施与工作流可见性[5] - 客户对联合解决方案需求达历史高位，技术复杂性与AI重塑工作方式推动客户依赖可信合作伙伴[8] 公司定位 - 思科为全球网络与安全领导者，40余年专注安全连接，提供AI驱动解决方案以增强数字韧性[9] - ServiceNow作为业务转型AI平台，通过连接人员、流程、数据与设备提升生产力与业务成果[11] - 双方基于7年合作基础，致力于提供强大且简化的解决方案，助力客户加速AI采用[8]