文章核心观点 - 大模型(生成式人工智能)在快速发展和应用的同时,其安全风险正从日常生活向商业和专业领域多点爆发,具体风险包括敏感信息泄露、提示注入、数据投毒等[1][3] - 面对新型且快速迭代的安全威胁,现有监管体系存在适配滞后、责任界定模糊等短板,构建包含技术对抗、流程管控、协同共治在内的全链条安全防护体系已刻不容缓[5][6][9] - 江苏省依托其AI产业基础,正通过专项政策激励、技术研发(如以AI对抗AI)、企业合规实践等多措并举,探索构建大模型安全应用的长效治理路径[7][9] 大模型安全风险的具体表现 - 风险类型多样化:国际组织OWASP发布的大模型十大风险漏洞包括提示注入、敏感信息泄露、供应链安全、数据和模型投毒、不当输出处理等[2] - 渗透日常生活:用户向大模型上传照片进行AI美化可能导致敏感信息泄露,模型能通过关联推理整合社交动态、出行轨迹等零散数据,推断未公开的家庭关系、职业背景,被用于精准诈骗[3] - 威胁商业运营:提示注入攻击技术门槛低,可导致企业核心算法、客户数据泄露;数据投毒更具破坏性,仅250份恶意文档就能污染百亿参数模型,误导用户和企业决策[3] - 危害专业领域:在商业场景中,模型可能产生“幻觉”,输出虚假资质或法律条款,引发经济纠纷;在研发领域,核心数据泄露或模型被干扰可能导致企业研发走偏,错失市场机遇,甚至引发知识产权纠纷[4] 当前安全治理面临的挑战 - 监管体系适配滞后:现有规则侧重AI生成内容审核,对“数据和模型投毒”、“无界消耗”等新型攻击缺乏明确界定和处罚依据,难以追责[5] - 责任归属界定困难:大模型的“黑箱特性”使得中间推理过程不透明,一旦出现风险,开发者、运营者、使用者责任模糊,用户投诉无门[5] 江苏省构建安全防护体系的举措 - 政策引导与激励:对首次完成国家级算法备案的企业给予最高5万元一次性奖励,并搭建合规服务平台提供安全评估、漏洞检测等一站式服务[7] - 技术对抗防线:企业开发异步识别引擎,用大模型语言实时监测异常提示词和数据投毒,并搭配边缘计算网关技术精准识别攻击[7] - 流程管控防线:企业建立“AI+人工+运营商”三重审核机制,对通话数据加密存储,采用银行级双因素验证,可抵御TB级每秒的DDoS攻击[7] - 细节防护与演练:在日志与页面设置明暗双重水印以追溯信息,关键隐私数据加密隐藏,并常态化开展站点级攻防演练以提升实战能力[8] - 合规备案实践:围绕备案要求建立动态拦截词库,为生成内容加专属标识,并与计算中心合作实现客户数据物理隔离、日志回溯[8] 构建长效治理体系的建议与方向 - 技术层面:以AI对抗AI:将防护融入研发全流程,在训练阶段建立数据安全准入机制,通过动态脱敏、智能识别净化数据,并探索搭建攻击识别与拦截系统[9] - 监管层面:分级分类治理:对工业、交通等关键领域执行最严格安全标准,要求通过第三方安全认证,同时加快完善法律法规,明确大模型责任边界,建立开发者、运营者、使用者“三位一体”的可追溯责任机制[9] - 产业协同共治:需构建政府统筹、企业担责、科研机构攻关、第三方机构评估的多方参与体系,形成治理合力[9]
以AI对抗AI,让大模型健康发展
新浪财经·2026-01-29 06:02