奇安信韩永刚:大模型开发应用带来了新的安全隐患,AI安全还处于起步阶段
AI安全行业发展现状 - AI自身安全与传统安全存在显著差异 当前防护主要集中在AI研发测试环境、相关数据和应用安全领域 仍处于起步阶段[1] - 内容安全、认知领域对抗、智能体权限管控以及应用数据防护等领域仍面临较大技术挑战 这些领域将成为网络安全产业未来增量市场[1] AI对网络安全产业的影响 - AI技术将推动网络安全产业从劳动密集型向智力密集型转变 实现高水平安全能力的规模化供给[1] - AI技术有望显著提升安全产业整体效率 对供需两侧均产生增量效应[1] 大模型应用的安全风险 - 大模型的黑盒特性、多业务多人员连接、多维数据应用等特征带来新型安全隐患[1] - 大模型快速部署过程中缺乏有效的安全评估、防护和监测手段 存在较大安全风险[1] - AI安全除传统问题外 还面临内容安全等新型挑战[1]