Workflow
国内首个大模型“体检”结果发布,这样问AI很危险
36氪·2025-09-23 07:27

AI大模型安全漏洞现状 - 国内首次AI大模型实网众测累计发现安全漏洞281个,其中大模型特有漏洞达177个,占比超过六成[1] - 五大典型漏洞风险包括:不当输出类漏洞危害严重、信息泄露类漏洞多发、提示注入类漏洞最常见、无限制消耗类攻击防护不足、传统安全漏洞依然普遍存在[2] - 大模型漏洞影响不直观,常通过绕过提示词获取超法律或道德边界的信息,例如早期曾出现模型泄露内部配置文件的情况[2] 用户使用习惯与隐私风险 - 截至今年7月,ChatGPT每周活跃用户超7亿,发送信息量高达180亿条,其中近一半属于“询问”类使用方式[1] - 用户习惯向AI咨询疾病、情感、财务等高度私密问题,但缺乏定期清理聊天记录的习惯,一旦模型或服务器被攻破,敏感数据极易泄露[1] 主流厂商安全防护水平 - 参与测试的主流大模型产品中,腾讯混元大模型、百度文心一言、阿里巴巴通义App、智谱清言等被发现漏洞风险较少,体现较高安全防护水平[2] - 中国电信安全团队对国内六款最热门基础大模型扫描发现,最高分仅77分,有的低于60分,说明国内基础大模型安全仍有很大提升空间[8] 本地化部署的安全误区 - 近九成本地部署DeepSeek的服务器存在安全风险,2025年春节DeepSeek出圈后遭到有组织的大规模网络攻击[5] - 本地化部署不等于安全,服务器一旦被攻击,私有服务器上存储的隐私信息和商业机密可能被窃取[8] AI智能体带来的新挑战 - 人工智能正从“Chat向Agent”跃迁,智能体风险比大模型更复杂,业内发布首部《AI智能体安全治理》白皮书[9] - AI智能体衍生独特系统性风险:感知出错可能导致危险反应、决策失误在关键领域造成严重事故、记忆被污染导致越权操作或隐私泄露、工具被滥用成为黑客攻击入口[9][10] 行业标准化与应对措施 - 国家市场监督管理总局在多模态大模型、智能体等前沿方向新发布10项国标,立项48项技术文件[11] - 当前迫切需要通过标准化建设减少数字技术发展带来的风险和不确定性[11]