行业投资评级 - 报告未明确提及具体行业投资评级 [1][5][7] 核心观点 - 人工智能技术快速发展,正在重塑全球产业格局,但伴随数据、模型、基础设施与应用的多重安全风险 [7] - 建立安全可靠、公平可信、智能向善的人工智能系统是核心目标 [8] - 需从基础设施、数据、模型、应用等多个维度构建安全治理体系 [8][18] - 全球各国和组织正在积极推进AI技术监管政策制定,防范滥用行为 [84][91] AI技术发展现状 AI技术演进 - AI技术从符号规则、机器学习演进至深度学习,大模型成为推动科技进步的关键技术 [11] - 国际大模型代表包括OpenAI的GPT系列、Google的Gemini系列等,国内代表有百度的文心一言、阿里巴巴的通义千问等 [11][12] - DeepSeek模型采用开源策略,推动AI技术普及并对行业格局产生深远影响 [13] AI技术应用趋势 - AI智能体产业链分为上游算力提供商、中游平台化服务、下游垂直应用,呈现多模态交互升级趋势 [14] - 具身智能在工业制造、家庭服务等领域应用广泛,可解决劳动力短缺问题 [15] - 端侧AI技术进展显著,百亿参数大模型有望端侧落地,端云协同架构成为主流 [16] AI安全治理风险 基础设施安全风险 - 智算硬件设备面临物理攻击、硬件接口攻击、软件攻击等风险 [32] - 智算云安全风险包括存储泄露、API滥用、内部威胁等 [33][34] - 智算MaaS平台存在模型知识产权风险、拒绝服务攻击风险等 [35][36] - 智算算力网络面临编排管理安全风险和运营服务安全风险 [37][39] 数据安全风险 - 通用数据安全风险包括数据合规、泄露、篡改及质量问题 [41][42] - 训练数据风险涉及数据来源违规、内容安全、数据投毒等 [43] - 微调数据风险主要是隐私泄露,攻击者可逆向工程推断训练数据 [45] - 推理数据风险包括模型窃取、隐私数据窃取等 [46] - 知识库数据风险包括外部攻击、内部泄露、恶意软件感染等 [48] 模型算法安全风险 - 通用模型风险包括鲁棒性弱、泛化性差、可解释性差等 [55][56][58] - 生成式模型风险包括提示词攻击、内容合规风险、模型幻觉等 [63][65] - 模型生命周期风险涵盖训练、微调、推理、部署各阶段 [50][54] 应用安全风险 - AI模型滥用风险包括虚假信息传播、多模态深度伪造等 [69][70] - 应用开发风险涉及端侧AI安全税、智能体协议缺陷等 [73][75] - 垂直行业风险如医疗领域的数据偏差、金融领域的深度伪造等 [79][81] AI安全治理技术解决方案 基础设施安全方案 - 智算硬件防护包括物理访问控制、固件安全启动等 [104][105] - 智算云防护采用网络分区、CSPM工具、容器镜像扫描等 [106][108] - 智算MaaS平台通过数据加密、安全审计、供应链管理提升安全性 [109][112] - 智算算力网络通过安全编排、调度、管控保障运营安全 [113][116] 数据安全方案 - 通用数据防护采用脱敏、加密、访问控制等手段 [119][122] - 训练数据防护包括数据质量管理、对抗性训练等 [125] - 微调数据防护采用沙箱环境、权限最小化等 [126][128] - 推理数据防护包括输入输出过滤、运行时监控等 [129][130] 模型算法安全方案 - 通用模型防护通过对抗训练、正则化、公平性约束等提升安全性 [134][138] - 生成式模型防护采用提示词过滤、内容合规检测等技术 [63][65] - 模型生命周期防护覆盖训练、微调、推理、部署全流程 [50][54] 应用安全方案 - 模型滥用防范通过虚假信息检测、深度伪造识别等实现 [69][70] - 应用开发安全涉及端侧优化、智能体协议加固等 [73][75] - 垂直行业安全方案如医疗数据加密、金融身份核验等 [79][81]
人工智能安全治理白皮书(2025)
2025-08-05 10:18