动态拦截词库
搜索文档
以AI对抗AI,让大模型健康发展
新浪财经· 2026-01-29 06:02
文章核心观点 - 大模型(生成式人工智能)在快速发展和应用的同时,其安全风险正从日常生活向商业和专业领域多点爆发,具体风险包括敏感信息泄露、提示注入、数据投毒等[1][3] - 面对新型且快速迭代的安全威胁,现有监管体系存在适配滞后、责任界定模糊等短板,构建包含技术对抗、流程管控、协同共治在内的全链条安全防护体系已刻不容缓[5][6][9] - 江苏省依托其AI产业基础,正通过专项政策激励、技术研发(如以AI对抗AI)、企业合规实践等多措并举,探索构建大模型安全应用的长效治理路径[7][9] 大模型安全风险的具体表现 - **风险类型多样化**:国际组织OWASP发布的大模型十大风险漏洞包括提示注入、敏感信息泄露、供应链安全、数据和模型投毒、不当输出处理等[2] - **渗透日常生活**:用户向大模型上传照片进行AI美化可能导致**敏感信息泄露**,模型能通过关联推理整合社交动态、出行轨迹等零散数据,推断未公开的家庭关系、职业背景,被用于精准诈骗[3] - **威胁商业运营**:**提示注入攻击**技术门槛低,可导致企业核心算法、客户数据泄露;**数据投毒**更具破坏性,仅**250份**恶意文档就能污染**百亿**参数模型,误导用户和企业决策[3] - **危害专业领域**:在商业场景中,模型可能产生“幻觉”,输出虚假资质或法律条款,引发经济纠纷;在研发领域,核心数据泄露或模型被干扰可能导致企业研发走偏,错失市场机遇,甚至引发知识产权纠纷[4] 当前安全治理面临的挑战 - **监管体系适配滞后**:现有规则侧重AI生成内容审核,对“数据和模型投毒”、“无界消耗”等新型攻击缺乏明确界定和处罚依据,难以追责[5] - **责任归属界定困难**:大模型的“黑箱特性”使得中间推理过程不透明,一旦出现风险,开发者、运营者、使用者责任模糊,用户投诉无门[5] 江苏省构建安全防护体系的举措 - **政策引导与激励**:对首次完成国家级算法备案的企业给予最高**5万元**一次性奖励,并搭建合规服务平台提供安全评估、漏洞检测等一站式服务[7] - **技术对抗防线**:企业开发异步识别引擎,用大模型语言实时监测异常提示词和数据投毒,并搭配边缘计算网关技术精准识别攻击[7] - **流程管控防线**:企业建立“AI+人工+运营商”三重审核机制,对通话数据加密存储,采用银行级双因素验证,可抵御**TB级每秒**的DDoS攻击[7] - **细节防护与演练**:在日志与页面设置明暗双重水印以追溯信息,关键隐私数据加密隐藏,并常态化开展站点级攻防演练以提升实战能力[8] - **合规备案实践**:围绕备案要求建立动态拦截词库,为生成内容加专属标识,并与计算中心合作实现客户数据物理隔离、日志回溯[8] 构建长效治理体系的建议与方向 - **技术层面:以AI对抗AI**:将防护融入研发全流程,在训练阶段建立数据安全准入机制,通过动态脱敏、智能识别净化数据,并探索搭建攻击识别与拦截系统[9] - **监管层面:分级分类治理**:对工业、交通等关键领域执行最严格安全标准,要求通过第三方安全认证,同时加快完善法律法规,明确大模型责任边界,建立开发者、运营者、使用者“三位一体”的可追溯责任机制[9] - **产业协同共治**:需构建政府统筹、企业担责、科研机构攻关、第三方机构评估的多方参与体系,形成治理合力[9]