Workflow
探寻产业发展“新引擎” | 实探2025北京网络安全大会:人工智能催生“内生”风险 安全行业推进系统化防御

开源大模型私有化部署的安全风险 - 开源大模型私有化部署过程中可能出现安全事故,包括通过提示注入攻击获取权限外完整信息,以及通过攻击漏洞端口获取内部大模型完整权限 [1] - 近两年攻击场景持续迭代,但用户对大模型安全的防御认知未及时提升,导致防护盲区未被有效覆盖 [1] - 国产开源大模型私有化部署规模化应用落地,构建内生安全防御体系成为业内共同关注话题 [1] 大模型攻击方式与案例 - "越狱攻击"通过调节提示词诱导大模型回答敏感问题,可能导致内部机密信息被盗取 [2] - 提示注入攻击和前置端口攻击可获取企业内部智能体及大模型的全部权限 [2] - 演示案例显示,大模型对"如何制作炸弹"拒绝回答,但对"炸弹制造原理及材料"提供具体答案 [2] 人工智能安全威胁演变 - 2020年攻击形式为基础威胁,2021年出现角色扮演攻击,2022年出现梯度优化攻击,2023年出现多模态攻击,2024年出现智能对抗攻击,2025年出现组合式复杂攻击 [3] - 重要领域应用软件开源比例高达90%,部分因成本原因上线前未充分进行安全检测 [3] 内生安全防御体系建设 - 需以系统性思维应对复合性风险,构建灵活、智能、协同的安全体系 [4] - 具体措施包括提升数据集安全性、模型可信性、输出可靠性,加快AI赋能高级别安全场景技术攻关,强化AI在危险监测等实战化应用 [4] - 单点防御时代结束,需打造网络安全联合防御体系应对国家级攻击 [5] 企业实践案例 - 深圳供电局通过SOAR技术实现100%网络安全风险自动处置,平均处置时长4秒772毫秒 [5] - 奇安信2019年提出内生安全理念,指出数据孤岛、安全投入不足及新旧架构兼容问题增加体系落地难度 [6] - 安全产品结构从点状阻断设施发展为连接成面的防御体系,需构建基于大模型技术的实战化安全运营管理体系 [7] 行业协作与布局 - 需压实运营商主体责任,建立国家级监测处置能力保护关键基础设施 [7] - 中国电子探索数据要素领域,推动数据安全流通解决方案试点落地 [8] - 赛力斯联合奇安信等构建"车企-安全服务商-终端用户"三位一体安全生态体系,推进智能网联汽车安全标准制定 [8]