大模型安全
搜索文档
喜报丨信安世纪荣膺ISC.AI 2025创新百强称号
新浪财经· 2025-12-17 22:19
(来源:信安世纪) 简讯 12月17日,ISC.AI2025第六届创新百强颁奖典礼成功举办。本届评选自11月启动以来,已汇聚全国超500家企业与100所高校参与,累计征集创新产品与解 决方案超800项,全面覆盖安全大模型、安全智能体、大模型安全等前沿领域。经过严格评审,北京信安世纪科技股份有限公司(股票代码:688201) 凭 借在身份安全领域的卓越表现,荣获"ISC.AI 2025第六届创新百强"称号。 精 精 彩 彩 推 (来源:信安世纪) 简讯 12月17日,ISC.AI2025第六届创新百强颁奖典礼成功举办。本届评选自11月启动以来,已汇聚全国超500家企业与100所高校参与,累计征集创新产品与解 决方案超800项,全面覆盖安全大模型、安全智能体、大模型安全等前沿领域。经过严格评审,北京信安世纪科技股份有限公司(股票代码:688201) 凭 借在身份安全领域的卓越表现,荣获"ISC.AI 2025第六届创新百强"称号。 推 ...
50位专家齐聚冰城 共探AI时代安全防护新路径
中国新闻网· 2025-11-30 14:23
会议概况 - 2025年《信息网络安全》东北地区学术研讨会在哈尔滨召开,来自全国20余所高校及科研院所的50名网络安全领域专家参会 [1] 核心议题与前沿技术探讨 - 会议重点探讨工业互联网安全、人工智能数据安全及隐私保护、大模型安全、深度伪造等前沿技术 [1] - 专家指出在人工智能广泛应用背景下,工业互联网安全、人因风险、AI数据隐私与芯片漏洞等问题日益凸显 [2] - 分论坛议题涵盖图像来源真实性验证技术、深度伪造治理、视觉内容生成安全与篡改检测、联邦学习关键技术等前沿方向 [5] 关键技术进展与应用 - 东北大学姚羽教授分享“谛听”工业互联网安全能力体系及其在实际场景中的应用成果,探讨人工智能在工业安全中的潜力 [2] - 哈尔滨工程大学吕宏武教授梳理AI驱动流量分类方法进展,结合大模型与联邦学习展望未来,并指出流量不均衡、长序列依赖和高标注成本等挑战 [2] 行业共识与发展建议 - 圆桌讨论提出构建安全可控的大模型体系、完善模型安全标准、推进产学研协同创新等重要建议 [2] - 会议系统呈现了在数字内容安全、AI信任体系与隐私计算方面的最新思考与实践 [5]
大模型“带病运行”,漏洞占比超六成
36氪· 2025-11-17 18:34
大模型内生安全风险现状 - 2025年3月,开源大模型工具Ollama被通报存在严重漏洞,可能导致数据泄露、算力盗取和服务中断等安全风险 [1] - 2025年6月,英国高等法院发现数十份法律文书中含有ChatGPT生成的虚构判例,暴露出输出可信度问题 [1] - 2025年国内首次AI大模型实网众测发现281个安全漏洞,其中大模型特有漏洞占比超过60% [1] - 大模型的数据安全、算法鲁棒性、输出可信度等内生风险已从理论隐患变为现实威胁,关乎公共利益与社会秩序 [1] 主要风险类型与事件 - 数据泄露、输出误导、内容违规是当前最频发的安全风险类型 [3] - 金融、医疗领域出现三起“Prompt误喂”事件,员工将含客户身份证、病史的完整字段直接输入对话框,导致敏感信息被模型吐出并被合作方爬虫截获 [3] - 数据泄露被描述为高频“灰犀牛”事件,根本原因在于缺乏“敏感实体识别+对话级脱敏”的实时防护闸口 [3] 行业风险评估与趋势 - 安远AI发布的前沿AI风险监测报告显示,过去一年发布的模型风险指数持续创新高 [3] - 网络攻击领域的累积最大风险指数比一年前增长31%,生物风险领域增长38%,化学风险领域增长17%,失控领域增长50% [3] - 行业存在“重能力迭代、轻安全建设”的倾向,推理模型在能力分上显著高于非推理模型,但安全分分布范围高度重叠,风险敞口随能力提升而扩大 [5] - 采用模型诚实性评估基准MASK进行监测的结果显示,只有4个模型得分超过80分,同时有30%的模型得分不到50分 [5] 安全治理挑战与应对 - 大模型风险评估多由厂商自行开展,但不少厂商未发布评估报告,且评估标准不统一,透明度低 [7] - 技术迭代快于治理节奏的矛盾持续加剧,攻击者利用大模型生成新型攻击手段的周期越来越短,而行业制定防护方案和标准规范需要数月甚至更久 [11] - 安全治理存在“三不管”地带,数据归属、模型责任、应用边界没有统一切口,导致“监管等标准、标准等实践、实践等监管”的死循环 [12] 新型风险与未来趋势 - AI智能体和多模态模型的发展将带来新的安全风险形态,其更强的能力可能被恶意用户利用来实施危害性更大的行动 [11] - 多模态模型存在“多模态越狱”风险,例如图片中隐藏人类不可见文字指令以诱导模型执行有害任务 [11] - 未来12~24个月,最值得警惕的风险是“模型供应链投毒”与“自主智能体滥用”,前者可能污染预训练数据、插件或工具链,后者可能将“写邮件”动作放大成“自动转账” [11] 风险监测平台与方法 - 安远AI发布的前沿AI风险监测平台专注于评估与监测前沿AI模型灾难性风险,对全球15家领先模型公司的前沿大模型的滥用和失控风险进行针对性评估和定期监测 [2] - 平台评估方法分为五个步骤:定义风险领域、选择测评基准、选择前沿模型、运行基准测试、计算指标 [8] - 评估聚焦于网络攻击、生物风险、化学风险和失控四个最受关注的灾难性风险领域,从“能力”和“安全”两个维度进行测评 [8]
360重磅发布《大模型安全白皮书》 推动AI应用“安全、向善、可信、可控”
证券日报· 2025-11-09 19:07
白皮书核心内容 - 系统性归纳威胁大模型安全的五大关键风险:基础设施安全风险、内容安全风险、数据与知识库安全风险、智能体安全风险、用户端安全风险 [1] - 提出"外挂式安全+平台原生安全"双轨治理策略,形成全链路防护网 [1] - 核心理念为"外筑'以模治模'动态屏障,内固'平台原生'安全底座",旨在推动人工智能行业向安全、向善、可信、可控方向发展 [3] 大模型安全风险分类 - 基础设施安全风险包括设备控制、供应链漏洞、拒绝服务攻击及算力资源滥用 [1] - 内容安全风险涉及不符合核心价值观、虚假或违规内容、大模型幻觉及提示注入攻击 [1] - 数据与知识库安全风险表现为数据泄露、越权访问、隐私滥用和知识产权问题 [1] - 智能体安全风险源于其自主性增强,导致插件调用、算力调度等环节安全边界模糊 [1] - 用户端安全风险涵盖权限控制、API调用监控、恶意脚本执行及MCP执行安全 [1] 公司安全战略与产品 - 公司产品基于"平台原生安全"理念开发,将安全深度植入平台底层,满足国家与行业合规要求 [2] - 企业级知识库守护数据与知识安全,智能体构建和运营平台确保行为可控,智能体客户端筑牢用户端安全防线 [2] - 公司已将安全能力落地政务、金融、制造等行业,使大模型安全成为可落地的实战方案 [2] 行业影响与未来展望 - 白皮书在世界互联网大会乌镇峰会发布,为大模型应用拉起全链路安全防线 [3] - 未来将联合产学研各界,共同推动安全标准建设与技术共享,共建安全可信的AI生态 [2]
360发布《大模型安全白皮书》
中证网· 2025-11-09 11:29
白皮书核心观点 - 360数字安全集团在世界互联网大会乌镇峰会上发布《大模型安全白皮书》[1] - 白皮书首次系统性阐释大模型运行时的五大关键风险并提出核心理念[1] - 核心理念为"外筑'以模治模'动态屏障,内固'平台原生'安全底座"[1] - 提供了可落地的安全解决方案,为大模型应用拉起全链路安全防线[1] - 旨在助力人工智能行业向"安全、向善、可信、可控"方向稳健发展[1] 大模型关键风险 - 基础设施安全风险:包括设备控制、供应链漏洞、拒绝服务攻击及算力资源滥用等问题[1] - 内容安全风险:涉及不符合核心价值观、虚假或违规内容、大模型幻觉及提示注入攻击等[1] - 数据与知识库安全风险:数据泄露、越权访问、隐私滥用和知识产权问题日益突出[1] - 智能体安全风险:随着智能体自主性增强,插件调用、算力调度等环节安全边界模糊[1] - 用户端安全风险:包括权限控制、API调用监控、恶意脚本执行以及MCP执行安全等[1] 安全治理策略与优势 - 提出"外挂式安全+平台原生安全"双轨治理策略,形成全链路防护网[2] - 外挂式安全灵活应对实时风险,平台原生安全从根源筑牢安全基础[2] - 策略具备适配性强、部署成本低两大优势,可作为通用组件快速接入不同企业环境[2] - 响应迅速,具备独立监测与拦截机制,可在毫秒级别识别并阻断实时威胁[2] 方案落地与未来规划 - 目前360已将这一能力落地政务、金融、制造等各行业[2] - 方案从理论转变为"能落地、能管用"的实战方案[2] - 未来将联合产学研各界,共同推动安全标准建设与技术共享[2] - 目标为携手共建安全、可信的AI生态[2]
360胡振泉谈AI换脸乱象:以现有识别鉴定技术看破有难度
南方都市报· 2025-11-09 09:38
文章核心观点 - AI大模型安全风险日益突出,攻击门槛降低且风险呈指数级增长,行业正面临传统安全方案难以应对的复杂威胁矩阵[3][4] - 公司发布《大模型安全白皮书》,系统性归纳五类关键风险并提出双轨治理策略,以应对当前安全挑战[3][4] - 尽管AI智能体发展初期面临争议,但其作为大模型应用重要载体的前景被看好,预计将迎来巨大跃升[5] AI安全风险现状 - 国内首次AI大模型实网众测累计发现安全漏洞281个,其中大模型特有漏洞177个,占比超过60%[3] - AI生成内容过于逼真,以现有技术进行识别和鉴定仍存在难点[1] - 攻击手段已从技术层面单一威胁演变为系统性风险,智能体出现后攻击门槛越来越低[3] 大模型安全关键风险分类 - 基础设施安全风险:涉及设备控制、供应链漏洞、拒绝服务攻击及算力资源滥用等问题[4] - 内容安全风险:涉及不符合核心价值观内容、虚假或违规内容、大模型幻觉及提示注入攻击等[4] - 数据与知识库安全风险:数据泄露、越权访问、隐私滥用和知识产权问题日益突出[4] - 智能体安全风险:插件调用、算力调度、数据流转等环节安全边界模糊[4] - 用户端安全风险:包括权限控制、API调用监控、恶意脚本执行及MCP执行安全等[4] 行业安全需求与应对策略 - 党政单位、机关单位等针对AI换脸等安全问题存在大量相关安全需求[1] - 外挂式安全策略侧重模型外部防护,通过以模治模实现对算力主机、软件生态等的主动监测与防御[4] - 平台原生安全策略聚焦将安全能力嵌入大模型数据、知识库等核心组件,强化全流程合规管控[4] AI智能体发展前景 - 智能体作为大模型应用与落地的重要承接载体,在发展初期饱受争议属正常现象[5] - 智能体补足大模型没有手和脚的缺陷,能独立调用技术、感知环境、分析判断和规划执行[5] - 大模型从聊天机器人发展为可影响各种业务的技术工具仅用两三年,智能体虽未达高效但将迎跃升[5]
乌镇峰会上三六零首发《大模型安全白皮书》 拉起全链路安全防线
证券时报网· 2025-11-09 08:27
文章核心观点 - 360数字安全集团发布《大模型安全白皮书》,系统性阐述大模型运行时的五大关键风险,并提出“外筑动态屏障,内固安全底座”的核心理念与可落地的全链路安全解决方案 [1] - 解决方案采用“外挂式安全+平台原生安全”双轨治理策略,通过七大核心产品能力构建纵深防御体系,旨在推动人工智能行业向安全可控方向稳健发展 [2][3] - 该能力已落地政务、金融、制造等行业,将联合产学研各界推动安全标准建设与技术共享 [4][5] 大模型安全风险归纳 - 基础设施安全风险包括设备控制、供应链漏洞、拒绝服务攻击及算力资源滥用等问题 [1] - 内容安全风险涉及不符合核心价值观、虚假或违规内容、大模型幻觉及提示注入攻击等 [1] - 数据与知识库安全风险包括数据泄露、越权访问、隐私滥用和知识产权问题 [1] - 智能体安全风险源于其自主性增强,导致插件调用、算力调度、数据流转等环节安全边界模糊 [1] - 用户端安全风险涵盖权限控制、API调用监控、恶意脚本执行及MCP执行安全等 [1] 外挂式安全策略 - 外挂式安全像AI的“外部保镖”,通过“以模治模”实现对算力主机、软件生态、输入输出内容及模型幻觉的主动监测与防御 [2][3] - 该方式具备适配性强、部署成本低两大优势,可作为通用组件快速接入不同企业环境,避免重复开发 [2] - 响应迅速,具备独立监测与拦截机制,可在毫秒级别识别并阻断实时威胁,如异常算力消耗或恶意内容 [2] - 具体产品包括大模型卫士算力主机安全系统、检测系统、防护系统、幻觉检测与缓解系统,构建外部屏障以应对基础设施与内容风险 [3] 平台原生安全策略 - 平台原生安全像AI的“内置铠甲”,将安全能力深度内嵌于核心组件,从根源筑牢安全基础 [2][4] - 聚焦大模型数据、知识库、智能体及客户端等环节,强化配套组件安全与全流程合规管控 [2] - 具体体现在企业级知识库、智能体构建和运营平台、智能体客户端三大平台产品上,解决数据泄露、智能体行为失控及终端滥用等内生性挑战 [4] - 将安全深度植入平台底层,全面满足国家与行业合规要求,为AI应用稳定运行奠定内生性基础 [2][4]
乌镇峰会,360首发《大模型安全白皮书》,拉起全链路安全防线
中金在线· 2025-11-08 12:50
白皮书核心发布 - 360数字安全集团在世界互联网大会乌镇峰会上正式发布《大模型安全白皮书》[1] - 白皮书首次系统性阐释大模型运行时的五大关键风险并提出核心理念与可落地解决方案[1] - 核心理念为“外筑‘以模治模’动态屏障,内固‘平台原生’安全底座”[1] 大模型安全风险分析 - 白皮书系统性归纳威胁大模型安全的五大关键风险[4] - 五大风险包括基础设施安全风险、内容安全风险、数据与知识库安全风险、智能体安全风险及用户端安全风险[5] - 风险相互交织形成复杂威胁矩阵,严重威胁个人权益、企业发展乃至国家安全[5] 双轨安全治理策略 - 白皮书提出“外挂式安全 + 平台原生安全”双轨治理策略[7] - 外挂式安全侧重模型外部防护,具备适配性强、部署成本低及响应迅速两大优势[9] - 平台原生安全聚焦将安全能力嵌入核心组件,强化配套组件安全与全流程合规管控[9] 纵深防御产品体系 - 解决方案通过七大核心产品能力组成纵深防御体系[10] - 外挂式安全体系包含四大产品,重点应对基础设施风险与内容风险[10] - 平台原生安全体系包含三大平台产品,从底层架构解决内生性安全挑战[10] 行业应用与未来展望 - 360已将相关能力落地政务、金融、制造等各行业[12] - 未来将联合产学研各界共同推动安全标准建设与技术共享[12]
启明星辰前三季度毛利率提升7个百分点
证券日报网· 2025-10-28 22:13
财务表现 - 2025年前三季度公司实现营业收入15.48亿元 [1] - 前三季度综合毛利率同比提升7个百分点,第三季度单季毛利率同比提升近16个百分点 [1] - 前三季度费用较上年同期减少1.61亿元 [1] - 前三季度经营活动产生的现金流量净额同比增加4.43亿元,同比增长75%,连续两个季度保持正流入 [2] - 公司现金储备超42亿元且无有息负债 [2] 经营效率与资产质量 - 公司连续七个季度实现应收账款账面价值较当年期初下降 [2] - 公司聚焦高毛利率项目,成本结构实现动态优化 [1] - 通过优化参股上市公司持仓,前三季度确认收益较去年同期增加2.02亿元 [1] 市场拓展与产品竞争力 - 与中国移动深化协同,技术成果转化与市场拓展迎来加速期 [2] - 大模型安全产品及"数据绿洲"产品线成功实现签单中标突破 [2] - 公司大模型应用防火墙(MAF)在某头部互联网厂商的大模型安全体系建设中独家中标 [2] - 中标国家级某医疗大数据中心的数据流通安全监管标杆项目 [3] 技术研发与前瞻布局 - 公司安全大模型技术优势在头部客户合作中进一步凸显 [2] - 携手中国移动前瞻性布局量子计算等前沿技术领域 [3] - 升级抗量子密码体系,实现后量子密码算法的产品化集成,并在VPN产品中融合量子密钥分发技术 [3]
腾讯云全栈安全能力亮剑国家网安周,筑牢数字时代“智能防线”
搜狐财经· 2025-10-15 16:55
公司战略与定位 - 公司在2025年第十一届国家网络安全宣传周上展示了其在AI安全、网络安全、国产融合创新等领域的突破性成果,并发布了腾讯云大模型与智能体安全全景图 [1] - 公司通过"内生安全"与"外赋赋能"的双轮驱动战略,致力于为各行业打造"数字盾牌",推动数智时代安全防线升级与国产生态融合 [1] - 公司安全能力正从互联网领域迁移至更多行业,向企业组织代表展示安全建设经验 [1] AI与大模型安全 - 公司构建了覆盖大模型从底层技术研究、企业服务到终端应用的全链路解决方案,并为大模型落地全生命周期提供端到端的产品服务体系 [3] - 公司发布AI-SPM大模型安全态势管理产品,用于保护大模型基础设施运行环境,及时发现并处置安全风险 [5] - 公司升级发布LLM-WAF大模型防火墙,专为大语言模型设计,提供多模型、多场景、高并发环境下的全链路防护能力,支持实时检测并拦截算力滥用、提示词攻击及数据泄露风险 [5] - 公司通过数据分类分级、加密、脱敏、审计、机密计算等多种技术实现大模型全生命周期的数据安全与隐私保护 [8] - 公司构建大模型安全风险评估能力,通过安全专家Red Team对抗实践,主动发现大模型及生态中存在的漏洞风险 [8] - 公司基于AI组件清单构建面向AI的漏洞情报专项监测能力,并通过天御大模型安全网关构建企业智能体应用的统一身份和权限管控体系 [8] 云安全体系 - 公司云业务在全球维护超过150万台服务器,各类云服务云资产总量超过1.4亿,获得400+合规资质认可 [10] - 公司形成云安全"全域安全"解决方案,针对公有云、混合云、自研云实现多云统一管理,提供横跨生产网、办公网、互联网的三位一体防护 [10] - 公司打造云安全"1+4+N"防护体系:以暴露面管理为情报兵,通过数据安全、主机安全、Web应用防火墙、云防火墙4道防线构筑云上安全防御体系,并通过N种行业安全解决方案应对不同安全需求 [12] - "1+4+N"防护体系具备免部署轻配置、一体化管理、AI智能化三大优势,基于腾讯混元AI安全模型提升安全规则运营效率,检出率高于同行业平均水平3.4%,同比去年减少0.22% [14] 云原生安全 - 公司云原生服务安全体系遵循安全能力原生化、安全左移、安全防护全生命周期、零信任安全架构四大原则 [15] - 公司通过容器安全服务实现容器资产管理、镜像安全、运行时入侵检测、网络安全等安全服务,保障容器从镜像生成、存储到运行的全生命周期安全 [15] - 在构建阶段通过基础镜像收敛风险实现安全左移,在部署阶段通过安全基线能力保障集群配置安全,在运行阶段深度监测容器入侵事件并实现快速止损 [17] - 公司通过云安全态势平台对云平台整体安全态势进行可视化呈现,支持风险发现自动化处置和攻击模拟,帮助降低安全运维难度 [17] 行业专项解决方案 - 公司升级业内首个小程序安全解决方案,为小程序商户提供安全防护、数据私有协议加密、DDoS防护、Web应用防护等多种能力 [18] - 解决方案能够以极简接入方式、流畅用户体验把安全防护无缝内置到业务中,提供小程序原生防护能力 [18]