文章核心观点 - 大模型（生成式人工智能）在快速发展和应用的同时，其安全风险正从日常生活向商业和专业领域多点爆发，具体风险包括敏感信息泄露、提示注入、数据投毒等[1][3] - 面对新型且快速迭代的安全威胁，现有监管体系存在适配滞后、责任界定模糊等短板，构建包含技术对抗、流程管控、协同共治在内的全链条安全防护体系已刻不容缓[5][6][9] - 江苏省依托其AI产业基础，正通过专项政策激励、技术研发（如以AI对抗AI）、企业合规实践等多措并举，探索构建大模型安全应用的长效治理路径[7][9] 大模型安全风险的具体表现 - **风险类型多样化**：国际组织OWASP发布的大模型十大风险漏洞包括提示注入、敏感信息泄露、供应链安全、数据和模型投毒、不当输出处理等[2] - **渗透日常生活**：用户向大模型上传照片进行AI美化可能导致**敏感信息泄露**，模型能通过关联推理整合社交动态、出行轨迹等零散数据，推断未公开的家庭关系、职业背景，被用于精准诈骗[3] - **威胁商业运营**：**提示注入攻击**技术门槛低，可导致企业核心算法、客户数据泄露；**数据投毒**更具破坏性，仅**250份**恶意文档就能污染**百亿**参数模型，误导用户和企业决策[3] - **危害专业领域**：在商业场景中，模型可能产生“幻觉”，输出虚假资质或法律条款，引发经济纠纷；在研发领域，核心数据泄露或模型被干扰可能导致企业研发走偏，错失市场机遇，甚至引发知识产权纠纷[4] 当前安全治理面临的挑战 - **监管体系适配滞后**：现有规则侧重AI生成内容审核，对“数据和模型投毒”、“无界消耗”等新型攻击缺乏明确界定和处罚依据，难以追责[5] - **责任归属界定困难**：大模型的“黑箱特性”使得中间推理过程不透明，一旦出现风险，开发者、运营者、使用者责任模糊，用户投诉无门[5] 江苏省构建安全防护体系的举措 - **政策引导与激励**：对首次完成国家级算法备案的企业给予最高**5万元**一次性奖励，并搭建合规服务平台提供安全评估、漏洞检测等一站式服务[7] - **技术对抗防线**：企业开发异步识别引擎，用大模型语言实时监测异常提示词和数据投毒，并搭配边缘计算网关技术精准识别攻击[7] - **流程管控防线**：企业建立“AI+人工+运营商”三重审核机制，对通话数据加密存储，采用银行级双因素验证，可抵御**TB级每秒**的DDoS攻击[7] - **细节防护与演练**：在日志与页面设置明暗双重水印以追溯信息，关键隐私数据加密隐藏，并常态化开展站点级攻防演练以提升实战能力[8] - **合规备案实践**：围绕备案要求建立动态拦截词库，为生成内容加专属标识，并与计算中心合作实现客户数据物理隔离、日志回溯[8] 构建长效治理体系的建议与方向 - **技术层面：以AI对抗AI**：将防护融入研发全流程，在训练阶段建立数据安全准入机制，通过动态脱敏、智能识别净化数据，并探索搭建攻击识别与拦截系统[9] - **监管层面：分级分类治理**：对工业、交通等关键领域执行最严格安全标准，要求通过第三方安全认证，同时加快完善法律法规，明确大模型责任边界，建立开发者、运营者、使用者“三位一体”的可追溯责任机制[9] - **产业协同共治**：需构建政府统筹、企业担责、科研机构攻关、第三方机构评估的多方参与体系，形成治理合力[9]

AI深度伪造欺诈新手段 - 不法分子通过钓鱼网站获取用户姓名、身份证号、电话号码、短信验证码和支付密码等全套信息[2] - 利用用户照片生成高度逼真的AI深度伪造图像或视频 通过注入式攻击劫持手机摄像头 绕过活体检测实施欺诈[2] - 此类非法活动投入一至两名技术人员 成功盗刷一次可能卷走上百万元甚至更多[5] AI反欺诈攻防技术 - 公司利用多组机械臂在实验室24小时模拟身份欺诈攻击 识别图像真伪 并将数据喂给人工智能算法进行训练[3] - 算法通过分析图像是否存在AI工具生成的技术印记或篡改痕迹 以及校验画面背景的一致性来识别深度伪造[6] - 面对注入式攻击 需从算法、终端、身份网络等多维度防范 例如事前检测用户手机是否被攻击[7] - 反欺诈技术延伸至声音领域 算法可识别异常背景音 并通过语调波动、语速变化模拟测谎逻辑[7] 技术落地与应用场景 - AI反诈技术作为SaaS产品 落地场景覆盖银行、保险、证券、政务服务、电商等需电子身份认证的领域[8] - 香港金管局第二期生成式AI沙盒有20家银行和14家技术合作伙伴的27个案例入选 聚焦以AI对抗AI[8] - 中银香港搭建AI反诈体系 将AI模型与传统数据模型融合 对用户交易进行实时监控与动态风险评估[9] - 技术拓展至政府场景 如香港"智方便"App使用生物识别认证 汇丰香港新企业服务也接入该App验证企业主信息[10][11] 模型训练与数据基础 - 中银香港每日产生数百万条个人金融交易数据 为AI模型提供丰富训练样本 并利用黑名单和案件报告数据[12] - 金融科技公司以银行内部专家人工分析筛选出的"打标数据"为基础开展模型训练 技术人员需驻场银行系统内搭建模型[13] - 训练旨在优化现有规则弥补漏洞 并让模型学习历史数据以剔除常见误报 最终输出精准的上报数据[13]

AI大模型安全漏洞与测试 - 国内首次AI大模型实网众测累计发现281个安全漏洞，其中大模型特有漏洞占比超60% [1] - 测试发现的安全漏洞涵盖提示注入、信息泄露等典型风险 [1] AI安全威胁手段 - 攻击者通过研究AI学习偏好有针对性地“投喂”信息，甚至有组织地进行“数据投毒” [1] - “数据投毒”手段包括伪造专家身份、虚构研究报告等方式向AI输入虚假信息以操纵输出结果 [1] 行业技术防御方案 - 华为发布星河AI网络安全解决方案，威胁自动化处置率达99%，未知威胁检出率达95% [1] - 蚂蚁消金通过多模态感知与大小模型协同，虚假证件识别准确率达98%，语音伪造检测覆盖50余种合成方式 [2] - 绿盟科技发布大模型安全评估系统，实现对140余款主流模型的自动化深度扫描，精准发现内容安全、对抗攻击等风险 [2] 监管与治理框架 - 《人工智能安全治理框架》2.0版于9月15日在国家网络安全宣传周发布 [1] - 蚂蚁消金2024年以来联合司法机关查处12家非法金融中介，涉案人员超200人，实现技术治理与司法联动 [2] - 绿盟科技评估系统能够出具符合国家《生成式人工智能服务安全基本要求》的评估报告 [2] 网络安全人才现状 - 2025年全球网络安全人才缺口升至480万，同比增长19% [2] - 美国需求51.4万个在线岗位，实际填补率不足三分之二 [2] - 截至2024年底中国持证在岗人员约32万，792所普通高校开设网络安全专业，占高校总数27.1% [2] - 中国高校中65.9%已在2025年新增AI安全课程，较去年跃升15个百分点 [2]

AI网络安全新挑战 - AI大模型在实网众测中累计发现281个安全漏洞，其中177个为大模型特有漏洞，占比超过60% [1] - 典型风险包括不当输出、信息泄露、提示注入、不受限消耗类漏洞以及传统安全漏洞 [1] - 随着AI应用场景扩展，新的漏洞和攻击手法将不断涌现，AI大模型安全治理工作任重道远 [3] AI安全治理与协同防御 - 需加快制定AI漏洞分类分级标准，并按应用场景划分风险等级 [3] - 通过众测模式汇聚社会白帽力量，构筑AI共治生态 [3] - 加强内生安全治理，将安全融入AI系统全生命周期 [3] - 《人工智能安全治理框架》2.0版发布，旨在构建跨国界、跨领域、跨行业的协同治理格局 [4] 科技企业AI安全解决方案 - 华为云展示端到端大模型安全解决方案，聚焦数据安全、训练保护与推理防护三大环节，可有效降低95%以上攻击暴露面 [5] - 蚂蚁集团gPass以安全、交互、连接为核心能力，为AI眼镜与智能体搭建可信信息桥梁 [5] - 蚂蚁消金通过多模态感知与模型协同，虚假证件识别准确率达98%，语音伪造检测覆盖50余种合成方式 [6] - 华为推出星河AI网络安全解决方案，其未知威胁检测率达95%，领先业界15%，并实现勒索加密文件100%恢复 [7] 网络安全进入“智防时代” - AI技术为网络安全提供智能研判支持，形成检测-响应-处理自动化闭环，大幅提升防护效率 [3] - 网络安全行业主动拥抱AI技术，打造“AI对抗AI”的最强防线，行业正式进入“智防时代” [3][7] - 监管框架迭代、企业方案落地与社会力量参与形成合力，为人工智能安全可信发展筑牢根基 [8]