Workflow
大模型安全评估系统
icon
搜索文档
看AI攻防博弈:技术升级、人才仍缺
中国新闻网· 2025-09-29 18:10
AI大模型安全漏洞与测试 - 国内首次AI大模型实网众测累计发现281个安全漏洞,其中大模型特有漏洞占比超60% [1] - 测试发现的安全漏洞涵盖提示注入、信息泄露等典型风险 [1] AI安全威胁手段 - 攻击者通过研究AI学习偏好有针对性地“投喂”信息,甚至有组织地进行“数据投毒” [1] - “数据投毒”手段包括伪造专家身份、虚构研究报告等方式向AI输入虚假信息以操纵输出结果 [1] 行业技术防御方案 - 华为发布星河AI网络安全解决方案,威胁自动化处置率达99%,未知威胁检出率达95% [1] - 蚂蚁消金通过多模态感知与大小模型协同,虚假证件识别准确率达98%,语音伪造检测覆盖50余种合成方式 [2] - 绿盟科技发布大模型安全评估系统,实现对140余款主流模型的自动化深度扫描,精准发现内容安全、对抗攻击等风险 [2] 监管与治理框架 - 《人工智能安全治理框架》2.0版于9月15日在国家网络安全宣传周发布 [1] - 蚂蚁消金2024年以来联合司法机关查处12家非法金融中介,涉案人员超200人,实现技术治理与司法联动 [2] - 绿盟科技评估系统能够出具符合国家《生成式人工智能服务安全基本要求》的评估报告 [2] 网络安全人才现状 - 2025年全球网络安全人才缺口升至480万,同比增长19% [2] - 美国需求51.4万个在线岗位,实际填补率不足三分之二 [2] - 截至2024年底中国持证在岗人员约32万,792所普通高校开设网络安全专业,占高校总数27.1% [2] - 中国高校中65.9%已在2025年新增AI安全课程,较去年跃升15个百分点 [2]
网络安全企业加速AI创新 新产品竞相落地
中国证券报· 2025-09-24 04:26
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统及相关服务解决方案,针对客户AI系统不同应用模式提供场景化防护[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 启明星辰安星智能体应用于安全运营、威胁检测及数据安全领域,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型、5G专网及数智运营三大增长引擎[3] - 蚂蚁集团发布融合AI与网络安全的产品,包括智能眼镜可信连接技术框架gPass,已与Rokid、小米等品牌合作落地"看一下支付"场景,并展示AIGC滥用检测及深度伪造防御解决方案[2] AI技术带来的行业机遇与挑战 - AI技术帮助网络安全行业提升效率和完善产品性能,同时带来新型安全风险[1] - Gartner预计到2027年60%中国大型企业将在安全运营中心采用暴露面管理技术,到2028年60%部署AI技术的中国企业将实施协作式AI防御策略(目前仅5%)[4] - 企业应用AI大模型需警惕提示词注入、模型诱导等风险,行业主要依赖电子围栏技术防止违规输出[4] - 工具链漏洞和配置错误可能导致严重数据泄露,需加强软件供应链安全如版本漏洞管理和代码审计[5] - 大模型既是生产力工具也可能成为攻击载体,导致数据资产和商业机密面临暴露风险[5] - 智能体应用拥有企业内网超级权限,带来爆炸式安全风险,建议企业加强跨部门协作并部署特权账号管理系统[5] AI安全防护体系建设 - AI大模型备案应成为强制性要求,模型厂商需通过网信部门基础评估以提前识别风险[6] - AI大模型风险需专业安全厂商持续投入,检测与防御将走向一体化,客户需从产品开发到代码审计全流程规划[6] - AI运营单位可通过合规评估、部署专项防护(如AI安全围栏)及引入第三方评估(渗透测试和安全评估)构建防护体系[6] - 通过安全手段建立信任可推动数据流通,全面应用AI技术将为各行业释放巨大价值[6]
网络安全企业加速AI创新新产品竞相落地
中国证券报· 2025-09-24 04:16
网络安全公司AI技术应用进展 - 绿盟科技近期将发布AI安全一体机、AI安全围栏、大模型安全评估系统等产品,针对客户AI系统不同应用模式提供场景化服务[1] - 北信源已开发集成大模型、开发工具和知识库的AI能力平台,支持私有化部署,并在金融、能源行业交付AI技术软件产品[1] - 深信服将大模型技术应用于网络安全产品,形成安全GPT、AI防火墙等多款产品,并计划加大AI研发投入[2] - 天融信在AI+安全、智算云方向布局,形成全栈安全产品体系与智算云解决方案,已在多行业规模化应用[2] - 蚂蚁集团发布融合网络安全与AI技术的创新产品,包括智能眼镜可信连接技术框架gPass,并与Rokid、小米等品牌合作落地"看一下支付"场景[2] - 启明星辰安星智能体应用于安全运营、威胁检测等产品,显著提升产品能力和服务效率[3] - 亚信安全上半年AI大模型应用与交付业务显著增长,未来聚焦AI大模型应用与交付、5G专网与应用、数智运营三大增长引擎[3] AI技术带来的行业机遇 - AI技术帮助网络安全行业提升效率和完善产品性能[1] - 大模型能显著提升网络安全企业能力和效率,产生"乘数效应"[4] - AI技术应用为各行业带来爆发式增长,通过安全手段建立信任可推动数据流通并释放巨大价值[5] AI应用的新型安全风险 - 企业应用AI大模型需警惕提示词注入、模型被诱导等风险,行业主要依赖电子围栏技术防止违规输出[3] - 工具链漏洞和配置错误可能导致严重数据泄露,需重视软件供应链安全和基础安全措施[4] - 大模型带来恶意利用、内容安全、幻觉问题、提示词攻击等风险,可能成为新攻击载体和入口[4] - 智能体应用带来爆炸式安全风险,因其常拥有企业内网超级权限,需加强跨部门协作和动态防御体系[4] AI安全防护策略与行业趋势 - Gartner报告显示中国网络安全重点转向保障AI安全,预计到2027年60%中国大型企业采用暴露面管理技术,到2028年60%部署AI技术企业实施协作式AI防御策略[3] - 专家建议AI大模型备案成为强制性要求,模型厂商需进行基础评估以识别风险[5] - AI大模型运营单位可通过合规评估、部署专项防护(如AI安全围栏)、引入第三方评估构建防护体系[5] - 云计算安全问题需引起重视[3]