人工智能产业发展现状 - 2024年中国人工智能产业规模超过9000亿元人民币，同比增长24% [1] - 中国人工智能企业数量超过5300家，已形成较完整的产业体系 [1] - 人工智能在制造业、金融、医疗等领域应用广泛，展现出降本增效和优化资源配置的巨大潜力 [1] 人工智能安全治理框架升级 - 《人工智能安全治理框架》2.0版正式发布，明确了对不同风险等级人工智能的管理要求 [1] - 新框架为各行业人员识别风险、落实责任提供了清晰指引，使治理更具可操作性 [1] - 框架升级彰显统筹发展与安全的治理智慧，为全球人工智能治理贡献中国方案 [1] 人工智能风险与挑战 - 2019年至2024年间，约74%的人工智能风险事件与安全问题直接相关 [1] - 2024年6月至2025年7月，全球公开报道的人工智能安全事件达59起 [1] - 风险事件涉及伪造诈骗、算法歧视、自动驾驶决策失误等多方面 [1] 人工智能治理原则与分类 - 治理原则强调包容审慎，发展人类可以信赖的人工智能，积极防范风险失控 [2] - 人工智能风险分为三类：技术本身缺陷、使用过程中的中途干扰、产生的连锁反应 [2] - 需依据风险类型采取有针对性的治理手段，让有关主体明确各阶段义务 [2] 生成式人工智能风险治理 - 针对深度伪造风险，需在模型开发阶段嵌入检测技术，输出环节落实内容标识与溯源要求 [3] - 人工智能服务提供者需防范不法分子利用换脸技术进行诈骗的行为 [3] - 监管部门应推动建立追溯系统，并通过公共教育提升公众对合成内容的辨识能力 [3] 协同治理与法规建设 - 综合治理需要政府、企业、科研机构和公众共同参与，进行全链条、全过程管理 [3] - 中国已出台《生成式人工智能服务管理暂行办法》等规范性文件 [3] - 学界推出《人工智能示范法3.0》等专家建议稿，构建有中国特色的治理体系 [3]

人工智能技术应用与风险 - 生成式人工智能技术加速迭代 音频 视频 图像等内容生成效果日趋逼真 带来治理挑战[1] - 截至2024年中国生成式人工智能产品用户规模已达2.49亿人 人工智能生成内容呈现跨平台化和跨境传播特征[1] - 人工智能生成内容易于被批量篡改和重组 源头不易找 追溯难度大 违法违规内容迅速蔓延 侵害个体权益并扰乱网络秩序[1] 人工智能监管政策与法规 - 《人工智能生成合成内容标识办法》施行 规定对生成合成内容要添加显式标识 并在文件元数据中添加隐式标识 为内容溯源与责任认定提供技术保障[1] - 党的二十届三中全会《决定》提出建立人工智能安全监管制度[2] - 《中华人民共和国网络安全法》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规出台为人工智能有效监管奠定基础[2] 司法实践与治理创新 - 司法通过个案裁判和司法解释细化立法原则 填补规则漏洞 实现对技术进步的能动回应 例如最高人民法院2024年发布反垄断民事诉讼司法解释规制互联网平台通过人工智能等技术手段排除 限制竞争的行为[2] - 北京建立人工智能监管沙盒机制 探索弱版权保护政策和风险补偿规则 降低数据安全隐患 减少数据流通合规成本 加快推动人工智能产业化应用[3] - 对人工智能治理与监管需统筹发展和安全 既明确相关主体行为边界 也为创新与探索留足空间 避免过度监管扼杀创新活力[2][3]

网络安全行业活动与成果 - 2025年国家网络安全宣传周于9月15日至21日以"网络安全为人民 网络安全靠人民"为主题在全国开展 通过高峰论坛、博览会及主题日活动提升社会网络安全意识与防护技能 [1] - 网络安全博览会展示AI鉴伪、智能反诈等"黑科技"产品 中国移动"中移羲和卫士"防诈服务通过AI预警和保险补偿机制已服务超2400万用户 [2] - 国家互联网应急中心牵头发布《人工智能安全治理框架》2.0版 动态优化风险分类分级与治理措施 同期推出政务大模型安全规范、AI安全测评数据集等系列成果 [3] 技术应用与用户防护 - AI技术应用于防诈领域实现实时来电预警、远程插播提醒及临时停机功能 有效阻断诈骗通信链路 [2] - 生成式AI安全风险受关注 业界通过声音克隆、数字人生成等技术体验活动提升公众对前沿技术风险的认知 [2] - 电信诈骗利用网络金融法律盲区实施犯罪 需通过知识普及与案例教育增强群体防范能力 [4] 行业生态建设与推广 - 人工智能安全治理需多方协同 构建"多元协同 责任共担"生态体系 工业信息安全机构强调系统工程属性 [3] - 全国开展线上线下结合的网络安全宣传活动 包括普法脱口秀、企业风险讲解、知识竞答等形式 覆盖校园、企业及公共领域 [5] - 聚焦法治金融电信等重点领域 通过接地气的主题宣传推动"网络安全靠人民"理念普及 [5]

网络安全宣传周活动概况 - 2025年国家网络安全宣传周于9月15日至21日以"网络安全为人民 网络安全靠人民——以高水平安全守护高质量发展"为主题全国统一开展 [1] - 活动包括开幕式、网络安全技术高峰论坛主分论坛、网络安全博览会暨国际推介会及主题日等 通过通俗易懂方式宣传理念、普及知识、推广技能 [1] - 全国各地开展线下线上结合活动 如普法脱口秀、企业案例讲解、知识竞答等 构建贴近生活的宣传场景并营造全社会共筑安全防线的氛围 [5] 网络安全技术应用与创新 - 中国移动展示"中移羲和卫士"防诈服务 具备AI语音预警、可疑来电拦截及临时停机功能 通过AI技术预防和防诈保险补偿已服务超2400万用户 [2] - 网络安全博览会亮相AI鉴伪、智能反诈等"黑科技" 包括AI换脸、声音克隆及数字人生成技术 为生活构筑数字防线 [1][2] - 2025年人工智能技术赋能网络安全应用测试结果发布 为构建协同共治的人工智能安全生态注入新动能 [3] 人工智能安全治理进展 - 《人工智能安全治理框架》2.0版在网络安全技术高峰论坛主论坛发布 由专业机构、科研院所及行业企业联合制定 完善风险分类分级并动态更新治理措施 [3] - 人工智能安全治理需各方协同构建"多元协同 责任共担"的安全生态系统 是一项系统工程 [3] - 网安周期间同步发布《政务大模型应用安全规范》、中文互联网基础语料3.0、生成式AI安全测评基准数据集及行业自律倡议等重要成果 [3] 网络安全风险教育与防范 - 电信诈骗已发展出上百种套路 利用群众对网络、金融、法律等盲区实施犯罪 需补齐知识短板以预防被骗 [4] - 通过案例剖析、科普视频及知识问答等形式 提升对网络诈骗的识别与防范能力 并促进知识分享传播 [5] - 有关部门围绕法治、金融、电信等重点领域开展主题宣传活动 推动网络安全宣传接地气、聚人气 [5]

AI造谣的现状与特征 - AI造谣已形成黑色产业链，通过编造如“30万居民撤离”、“民警离职潮”、“爆炸事故”等虚假信息引发社会恐慌 [2] - 不法分子利用AI技术生成逼真的虚假内容，包括伪造“官方回应”，并通过信息过滤和推荐机制将虚假信息聚合成具有迷惑性的“证据链” [2] - 在经济与企业类、公共安全类谣言中，餐饮外卖、快递配送等民生行业成为重灾区 [4] AI造谣的驱动机制 - 造谣者以流量变现为目的，利用内容平台“有效播放量×互动系数×千次播放单价”的收益公式牟利，一篇播放量100万次的内容收益可超过1000元 [2] - 不正当商业竞争进一步催生并加剧了AI谣言黑色产业链的扩散 [2] - 具体案例显示，有违法者注册多个平台账号，利用AI工具编造发布200余篇高度雷同的虚假文章恶意攻击品牌 [2] 治理与应对措施 - 监管部门已采取行动，中央网信办启动专项行动整治利用AI仿冒他人或编造虚假信息的行为，并发布《人工智能安全治理框架》2.0版以完善监管制度和标准 [5] - 新媒体平台被建议加强AI造谣的智能识别，改革流量分发和收益分成机制以压缩牟利空间，并鼓励用户举报可疑内容 [5] - 公安机关依据《刑法》对严重扰乱社会秩序的造谣行为进行打击，相关罪行可处以三年至七年有期徒刑 [5]

活动概况 - 2025年国家网络安全宣传周于9月15日至21日在全国范围内统一举办 [1][4] - 开幕式等重要活动在云南昆明举行 [4] - 活动主题为“网络安全为人民，网络安全靠人民——以高水平安全守护高质量发展” [4] - 活动由中央宣传部、中央网信办等十个部门联合举办 [4] 重要成果发布 - 在网络安全技术高峰论坛主论坛上集中发布系列重要成果 [4] - 发布《人工智能安全治理框架》2 0版 [2][4] - 发布《政务大模型应用安全规范》 [4] - 发布2025年人工智能技术赋能网络安全应用测试活动结果 [4]

活动概况 - 2025年国家网络安全宣传周于9月15日至21日在全国范围内统一举办 [1][3] - 开幕式等重要活动在云南昆明举行 [3] - 活动主题为“网络安全为人民，网络安全靠人民——以高水平安全守护高质量发展” [3] - 活动由中央宣传部、中央网信办等十个部门联合举办 [3] 重要成果发布 - 在网络安全技术高峰论坛主论坛上集中发布系列重要成果 [3] - 发布《人工智能安全治理框架》2.0版 [1][3] - 发布《政务大模型应用安全规范》 [3] - 发布2025年人工智能技术赋能网络安全应用测试活动结果 [3]

活动概况 - 2025年国家网络安全宣传周于9月15日启动，主题为“网络安全为人民，网络安全靠人民——以高水平安全守护高质量发展” [1] - 开幕式等重要活动在云南昆明举办 [3] 重要发布与论坛 - 开幕式上正式启动了12387网络安全事件报告平台 [3] - 网络安全技术高峰论坛将发布《人工智能安全治理框架》2.0版、《政务大模型应用安全规范》及2025年人工智能技术赋能网络安全应用测试结果 [3] - 活动将围绕网络安全协同防御、人工智能安全、数据合规治理等主题举办12场分论坛 [3] 博览会与人才招聘 - 网络安全博览会暨网络安全产品和服务国际推介会于9月14日至18日举行，集中展现技术、产业、人才等方面成果 [8] - 网络安全和信息化人才招聘会于9月15日至17日举办，邀请国有企事业单位、互联网及网络安全企业、科研机构等参与，组织应届高校毕业生进行就业指导和双选 [8] - 同时面向全国举办线上招聘活动，搭建网信企业与学生的双选通道 [8] 主题日与宣传活动 - 活动期间设置系列主题日，包括9月16日校园日、17日电信日、18日法治日、19日金融日、20日青少年日、21日个人信息保护日 [8] - 将组织网络安全进社区、进农村、进企业、进机关、进校园、进家庭等宣传普及活动 [8]

政策转向 - 2025年七国集团发布《人工智能促进繁荣声明》，关注点从早期对人工智能风险的考量转向几乎完全关注其益处，声明中“安全”一词出现次数为零[1] - 2025年巴黎人工智能行动峰会改变方向，重点关注人工智能释放的经济机遇，美国和英国拒绝签署讨论人工智能伦理的文件[3] - 北约在2025年峰会上发布计划摘要，强调需要“赢得技术采用竞赛”，认为一些采购和程序风险需要成为创新和快速采用的固有组成部分，显示出对人工智能风险容忍度更高[4][5] 行业驱动因素 - 行业游说在将全球人工智能政策讨论从风险转移方面发挥作用，法国人工智能初创公司Mistral的联合创始人曾主张实施更宽松的欧盟规则，警告合规成本过高的法案可能会扼杀公司[8] - 人工智能行业盈利能力和切实效益为游说活动带来助力，OpenAI声称其年度收入已超过100亿美元，而Anthropic的月收入则超过3.33亿美元[9] - 益普索民意调查数据显示，在2022年至2024年期间，一些国家对单个人工智能产品净效益的乐观情绪上升，例如法国和德国均上升10%，美国上升4%[9] 地缘政治与技术竞争 - 人工智能在增强军事实力方面展现出潜力，Anthropic、谷歌、OpenAI和xAI最近获得了美国国防合同，每家公司可获得高达2亿美元的合同[10] - 更激烈的地缘政治竞争推动“主权人工智能”实现，中国、美国、法国、欧盟已努力为人工智能相关项目筹集数千亿美元[11] - 目前最好的通用人工智能模型大多来自美国和中国的公司，美国拥有全球约75%的人工智能超级计算机性能，中国以15%的份额位居第二[11]

行业投资评级 - 报告未明确提及具体行业投资评级 [1][5][7] 核心观点 - 人工智能技术快速发展，正在重塑全球产业格局，但伴随数据、模型、基础设施与应用的多重安全风险 [7] - 建立安全可靠、公平可信、智能向善的人工智能系统是核心目标 [8] - 需从基础设施、数据、模型、应用等多个维度构建安全治理体系 [8][18] - 全球各国和组织正在积极推进AI技术监管政策制定，防范滥用行为 [84][91] AI技术发展现状 AI技术演进 - AI技术从符号规则、机器学习演进至深度学习，大模型成为推动科技进步的关键技术 [11] - 国际大模型代表包括OpenAI的GPT系列、Google的Gemini系列等，国内代表有百度的文心一言、阿里巴巴的通义千问等 [11][12] - DeepSeek模型采用开源策略，推动AI技术普及并对行业格局产生深远影响 [13] AI技术应用趋势 - AI智能体产业链分为上游算力提供商、中游平台化服务、下游垂直应用，呈现多模态交互升级趋势 [14] - 具身智能在工业制造、家庭服务等领域应用广泛，可解决劳动力短缺问题 [15] - 端侧AI技术进展显著，百亿参数大模型有望端侧落地，端云协同架构成为主流 [16] AI安全治理风险 基础设施安全风险 - 智算硬件设备面临物理攻击、硬件接口攻击、软件攻击等风险 [32] - 智算云安全风险包括存储泄露、API滥用、内部威胁等 [33][34] - 智算MaaS平台存在模型知识产权风险、拒绝服务攻击风险等 [35][36] - 智算算力网络面临编排管理安全风险和运营服务安全风险 [37][39] 数据安全风险 - 通用数据安全风险包括数据合规、泄露、篡改及质量问题 [41][42] - 训练数据风险涉及数据来源违规、内容安全、数据投毒等 [43] - 微调数据风险主要是隐私泄露，攻击者可逆向工程推断训练数据 [45] - 推理数据风险包括模型窃取、隐私数据窃取等 [46] - 知识库数据风险包括外部攻击、内部泄露、恶意软件感染等 [48] 模型算法安全风险 - 通用模型风险包括鲁棒性弱、泛化性差、可解释性差等 [55][56][58] - 生成式模型风险包括提示词攻击、内容合规风险、模型幻觉等 [63][65] - 模型生命周期风险涵盖训练、微调、推理、部署各阶段 [50][54] 应用安全风险 - AI模型滥用风险包括虚假信息传播、多模态深度伪造等 [69][70] - 应用开发风险涉及端侧AI安全税、智能体协议缺陷等 [73][75] - 垂直行业风险如医疗领域的数据偏差、金融领域的深度伪造等 [79][81] AI安全治理技术解决方案 基础设施安全方案 - 智算硬件防护包括物理访问控制、固件安全启动等 [104][105] - 智算云防护采用网络分区、CSPM工具、容器镜像扫描等 [106][108] - 智算MaaS平台通过数据加密、安全审计、供应链管理提升安全性 [109][112] - 智算算力网络通过安全编排、调度、管控保障运营安全 [113][116] 数据安全方案 - 通用数据防护采用脱敏、加密、访问控制等手段 [119][122] - 训练数据防护包括数据质量管理、对抗性训练等 [125] - 微调数据防护采用沙箱环境、权限最小化等 [126][128] - 推理数据防护包括输入输出过滤、运行时监控等 [129][130] 模型算法安全方案 - 通用模型防护通过对抗训练、正则化、公平性约束等提升安全性 [134][138] - 生成式模型防护采用提示词过滤、内容合规检测等技术 [63][65] - 模型生命周期防护覆盖训练、微调、推理、部署全流程 [50][54] 应用安全方案 - 模型滥用防范通过虚假信息检测、深度伪造识别等实现 [69][70] - 应用开发安全涉及端侧优化、智能体协议加固等 [73][75] - 垂直行业安全方案如医疗数据加密、金融身份核验等 [79][81]