人工智能安全治理
搜索文档
粤港澳大湾区生成式人工智能安全发展联合实验室福田服务站启用
中国经济网· 2026-01-07 15:26
粤港澳大湾区AI安全发展联合实验室福田服务站启用 - 粤港澳大湾区生成式人工智能安全发展联合实验室在深圳福田区启用基层服务站,是深圳构建“安全与发展并重”AI产业生态的关键一步 [1] - 该联合实验室由广东省委网信办和国家互联网应急中心广东分中心联合牵头,大湾区相关部门、企业、高校、科研机构共同参与建设 [1] - 福田服务站将承担大模型和算法备案辅导、安全评测、合规培训、政策宣贯等职能,为企业提供一站式、全周期、零距离的专业支持 [1] 深圳(福田)海联大模型和算法赋能服务中心 - 福田服务站与深圳(福田)海联大模型和算法赋能服务中心合署办公,已建立起“预审—辅导—对接—跟踪”闭环服务体系 [2] - 该中心累计服务企业130余家,协助企业启动71例备案流程 [2] - 中心未来将深化合规服务,帮助企业构建覆盖模型全生命周期的安全合规能力,并强化与港澳的跨境协同,推动要素高效流动 [2] 服务站对AI硬件企业的支持与产业协同 - 服务站被视作为AI硬件企业破解发展痛点、打通商业化链路的关键支撑平台,帮助企业精准理解政策细则,避免试错成本 [3] - 深圳具有硬件产业链完整、创新节奏快的优势,例如在深圳一个月能完成AI眼镜的模具开发与样品生产,而在硅谷需半年到一年 [3] - 服务站作为产业协同平台,能帮助企业链接福田乃至深圳的硬件制造、场景应用资源,加速“深圳制造+AI创新”融合落地 [3] 福田区AI产业发展现状与服务体系 - 活动现场,福田区8家备案大模型企业获颁“生成式人工智能服务备案证明”,20多家人工智能企业展出了差异化创新产品 [3] - 福田区打造了“17+41+25”立体化服务网络和“九维赋能、九福智启”服务体系,为AI企业提供九个维度的全链条支持 [4] - 该服务体系已促成技术合作意向26项,常态化举办AI应用加速营、项目路演等活动32场,涉及大模型训练、边缘计算等多个前沿方向 [4] AI出海的国际形势与安全挑战 - 当前大模型产业迈向规模化与全球布局关键时期,AI出海面临数据法律风险等挑战,需对标国际规则 [5] - 人工智能国际治理呈现明显的安全偏好,“透明、可信、安全、负责任”的人工智能是国际社会共同预期 [6] - AI模型及其相关数据属于跨境数据规定的监管范畴,AI生成内容是否合规与目的地法律法规、文化习俗高度相关,需设置个性化安全护栏 [6]
人工智能安全治理力量下沉至基层 一站式赋能企业
南方都市报· 2026-01-07 07:10
粤港澳大湾区AI安全发展联合实验室新设服务机构 - 粤港澳大湾区生成式人工智能安全发展联合实验室在深圳福田和珠海两地新设服务机构,旨在推动AI安全治理力量下沉至基层 [2][4][11] - 联合实验室福田服务站正式启用,将与深圳(福田)海联大模型和算法赋能服务中心一体化运作,为企业提供备案辅导、安全测评等“一站式”服务 [10][12] - 联合实验室珠西中心及珠海服务站揭牌,旨在立足珠海区位与产业优势,打造粤澳AI跨境安全服务枢纽 [4][5][9] 珠海市人工智能产业发展基础与优势 - 珠海市人工智能产业基础扎实,全社会研发投入强度达4.57%,每万人口发明专利拥有量超215件,引育了50家大模型企业 [6] - 珠海市生成式人工智能大模型备案数量位居广东省第三,目前(含横琴)已有8款大模型通过国家网信办备案,另有2款完成登记 [5][8] - 珠海拥有独特的区位与人才优势,是唯一陆桥连接港澳的城市,并集聚了10所高校(其中3所为985本科起点办学高校)及14万在校大学生 [6] - 珠海于2023年12月成立全国首个人工智能发展局,并发放5亿元算力券,发布216个应用场景以支持产业发展 [6] 活动签署的倡议与颁发的认证 - 活动期间,珠海金山办公、广州视源股份、中国通信服务香港等粤港澳企业代表共同签署了《粤港澳大湾区人工智能安全发展企业家倡议》 [8] - 来自粤港澳地区的青年创业者代表联合签署了《粤港澳大湾区人工智能安全发展青年创业者倡议》 [8] - 活动现场为最新一批通过备案的企业颁发了“生成式人工智能服务备案证明”,共有7家企业获证 [8] - 在福田活动现场,相关部门为福田区8家备案大模型企业颁发了“生成式人工智能服务备案证明” [12] AI出海研讨与安全趋势研判 - 活动围绕“把握APEC机遇 扬帆新蓝海”主题,设置了AI出海研讨环节,探讨对标国际规则、应对出海安全风险等议题 [2][13] - 学界专家指出,AI出海需应对数据隐私、模型数据跨境监管及生成内容合规等安全挑战,需根据目的地设置个性化安全护栏 [13] - 联合实验室发布了《2026年度AI安全十大趋势》白皮书,系统预测了2026年AI安全在政策、风险与治理方面的关键方向 [14] AI安全十大趋势核心内容 - **政策合规趋势**:全球AI合规框架加速协同与落地,合规能力成为企业核心竞争壁垒;开源模型滥用风险与监管博弈加剧 [15] - **风险演化趋势**:对抗攻防进入高维博弈阶段,研究显示经特定改写的恶意指令在多个主流模型上攻击成功率超过90% [16];AI武器化拓展网络攻击新战场,2024年全球约67.4%的网络钓鱼攻击采用AI技术 [17];AI智能体安全风险引发监管与责任新考量 [17] - **治理与发展趋势**:AI安全治理走向全生命周期可信化;AIGC原生安全架构将成为基础设施标配;AI对齐研究与实践提速;内容真实性治理成为数字社会基础秩序;算力扩张推动“AI-能源耦合”成为国家安全议题 [18][19] 新设服务机构的核心职能与方向 - **珠海服务站/珠西中心聚焦三大方向**:筑牢跨境安全协同防线(如探索粤澳AI监管规则互认)、赋能特色产业安全发展(如开展无人机、无人船AI安全评测)、构建开放创新生态体系 [9] - **福田服务站核心职能**:承担大模型和算法备案辅导、安全评测、合规培训、政策宣贯等职能,旨在打造大湾区AI安全治理关键支点与示范平台 [12]
中央网信办:强化网络安全防护、网络数据安全管理和人工智能安全治理
每日经济新闻· 2026-01-07 00:07
网络空间治理与安全 - 会议强调守牢网上阵地,坚决维护网上政治安全、意识形态安全和社会大局稳定[1] - 深化综合施策,整治网上各类乱象,切实提高网络生态治理效能[1] - 筑牢安全屏障,强化网络安全防护、网络数据安全管理和人工智能安全治理,全面推进国家网络安全体系和能力现代化[1] 网信领域发展与赋能 - 注重赋能增效,着力推进网信领域科技创新、网信产业生态建设、信息基础设施建设、信息化应用等工作,以信息化助力高质量发展[1] - 夯实法治根基,统筹推进网络领域立法执法普法,深入推进网络空间法治建设[1] 国际合作与系统建设 - 深化互利共赢,积极拓展网络空间国际交流合作,构建网络空间命运共同体[1] - 聚焦全面从严,持续加强网信系统党的建设和干部队伍建设[1]
中国网络空间安全协会卢卫:AI治理应分类,严管高风险场景
南方都市报· 2025-12-20 23:36
AI安全治理的核心理念与框架 - 建立健全面向未来的人工智能安全治理生态需要技术、信任、制度三者形成合力 [4] - AI治理应坚持“分类分级”原则 对自动驾驶、智慧医疗等高风险场景严格监管 对低风险应用则留出创新空间 [2][6] 技术层面的治理举措 - 技术是安全治理的基础支撑 需通过技术创新筑牢安全底线 [5] - 提升AI自身安全性涉及两方面 一是通过对抗训练增强模型鲁棒性 利用差分隐私保护数据安全 二是研究治理技术 如算法漏洞智能检测、深度伪造检测、算法审计工具等 [5] - 需特别注重内生安全 在AI研发初期就嵌入防护机制并不断迭代优化 不能事后“打补丁” [5] - 近年涉AI网络安全事件呈现两大特点 手段智能化 风险场景复杂化并从数字空间渗透到物理世界 [5] - 具身智能已从生产阶段进入现实生活 随着机器人进入家庭 相关安全问题亟待重视 [5] 信任层面的构建路径 - 信任是安全治理的桥梁纽带 为AI发展凝聚社会共识 [5] - AI的普及本质是技术获得社会信任的过程 算法推荐“信息茧房”、自动驾驶伦理困境、AIGC模糊虚实边界等问题会侵蚀公众信任 [6] - 构建信任需要做到“透明可及” 包括提高算法决策过程透明度 避免技术异化对隐私、公平等价值的损害 [6] - 需积极普及AI知识 提升全民数字素养 [6] - 只有赢得公众信任 AI才能在医疗、教育、交通等关键领域得到深度应用 [6] 制度与治理体系设计 - 制度是安全治理的秩序保障 为AI发展全程保驾护航 [6] - 建议建立健全“法律+标准+伦理”的治理体系 既通过《网络安全法》《数据安全法》等法律划出“红线” 也要发挥行业标准、自律公约的柔性调节作用 [6] - 需推动跨部门、跨区域协同治理 并加强国际合作以应对AI安全的全球性挑战 [6] - 随着AI技术迅速迭代 治理需保持“敏捷性” 制度建设需“与时俱进” [7] - 需建立健全动态风险评估机制 为前沿技术和领域的治理提出方案 为创新留出试错空间 [7] - 中国网络空间安全协会已组织专业机构对人工智能模型进行安全和能力评测实践探索 [7]
人工智能发展主线有变,中国信通院给出这些研判
21世纪经济报道· 2025-12-14 08:38
人工智能产业发展现状与规模 - 2024年中国人工智能核心产业规模超过9000亿元,增速达24%,预计2025年有望超过1.2万亿元 [2] - 2025年大模型在语言和多模态理解能力上提升显著,综合能力分别提升了30%和50%,推理、编程等能力发展迅速 [2] 大模型应用落地的主要形式:智能体 - 智能体成为大模型应用落地的主要形式,展现出“数字劳动力”的雏形 [1][2] - 通用智能体(如Genspark、Manus等)在网页交互、信息整合等场景表现优异,据测试可获得比顶级大模型更好的性能 [2] - 专用智能体聚焦编程、法律等垂直场景,强化专业适配能力以实现精准破局 [3] - 智能体总体仍处发展初期,面临任务规划可靠性、系统对接复杂性及权责界定等挑战 [3] AI在产业价值链的渗透与挑战 - AI在产业价值链的分布呈“两端高、中间低”的微笑曲线态势,研发设计与营销服务环节更易获得赋能 [4] - 一个积极信号是,生产制造环节的AI应用案例占比由2024年的19.9%增长至2025年的25.9% [4] - AI向价值创造核心环节渗透的速度受限于工业数据获取难度、工艺知识封装水平及对可靠性的极致要求 [1][6] 制造业数智化发展的未来趋势 - 未来五年制造业数智化将不只解决效率问题,更要解决创新和韧性问题 [6] - 制造企业需更敏捷地捕捉响应需求,组织柔性生产能力并保持高效率和质量 [6] - 制造企业需将工业知识、数据和智能技术结合,以自主生成更具竞争力的产品方案或突破关键制造技术 [6] 智能经济的定义与发展意义 - 智能经济是以人工智能技术为驱动力,旨在提升产业效率、重塑产业模式、扩大生产消费可能性边界的新型经济形态 [7] - 发展智能经济是挖掘经济增长新动能的必然路径,有助于形成强大创新驱动能力并拓展市场空间 [7] - 有观点指出,2025年上半年美国经济增长几乎完全依赖于人工智能基础设施的投资 [8] 智能经济的供给端与消费端影响 - 在供给端,智能经济通过革新生产要素配置等筑牢增长根基,例如AI视觉检测系统可将工业生产漏检率降至近乎为零 [8] - 在消费端,智能经济创造新型消费场景,据监测2025年前10个月中国AI眼镜、智能手表等智能穿戴网零额增长23.1% [8] 具身智能的发展与融资现状 - 具身智能作为大模型与机器人结合的产物,2025年在政策与资本推动下快速发展,融资金额超400亿元,产业上下游企业达350多家 [9] - 当前具身智能在“认知智能”(大脑)和“物理智能”(身体)上均取得双线突破 [1][9] 具身智能面临的挑战与路线之争 - 具身智能的模型路线、数据范式以及最佳机器人形态仍未定型,大规模落地仍处于早期阶段 [1][9] - 模型路线之争:大模型范式是否适用于机器人控制仍未被证明,业界在探索多种途径 [9] - 数据范式之争:机器人模型依赖真机数据、合成/仿真数据、人类第一视角视频数据,但数据仍是核心瓶颈,范式仍在演化 [10] - 形态路线之争:分为坚持全人形路线的人形坚守派(如Tesla、Figure AI)与强调工程可落地性的折中派(国内企业的轮-臂式复合机器人) [11] 人工智能安全治理成为发展主线 - 随着人工智能应用深化与潜在风险显化,安全治理已成为与技术发展并行的另一条主线 [1][13] - 2025年,应对模型幻觉、虚假信息、数据安全、智能体安全等现实风险迫在眉睫,同时需警惕前沿模型的潜在风险 [13] - 产业主体需构建面向AI风险管控的“PDCA”循环,形成自闭环的敏捷治理机制以控制风险 [13] 政策导向与宏观部署 - 《国务院关于深入实施“人工智能+”行动的意见》于2025年8月印发,提出到2030年智能经济成为我国经济发展的重要增长极 [7] - 中央经济工作会议对“人工智能+”的部署从2024年的“开展”延展为2025年的“深化拓展”,并加入“完善人工智能治理” [12]
专家献策AI敏捷治理:要重视生成式数据,提前“预埋”标识
南方都市报· 2025-12-08 13:14
行业核心观点 - 人工智能的“敏捷治理”成为行业共识,强调治理需与技术发展同步,事前预埋治理逻辑,而非事后补救 [3][4] - 构建“安全可信、创新共生、包容普惠”的人工智能发展新生态是行业倡议的共同目标 [5][7] 治理理念与框架 - “敏捷治理”的核心是“边发展边治理”,确保治理节奏与发展步伐同频同步 [4] - 治理应注重事前预埋逻辑,例如在生成式数据中结合显式与隐式标识,防止篡改,立法与技术部门需提前介入 [3] - 人工智能技术的应用必须建立在明确规范之上,先立规矩再谈开发,尤其在敏感场景 [4] 技术治理的具体实践 - 在数据源头进行严格筛选,以规避安全风险,并针对模型“幻觉”现象进行研究优化 [5] - 构建多层次安全防护体系:包括源头数据防护、生成内容清晰标注(如京东直播中对AI生成内容进行标注)、以及敏感内容持续监测 [5] - 将人工智能安全治理贯穿于技术研发到落地应用的全流程,包括模型安全保障和外部安全屏障,并针对不同产品特性搭建独立的安全保障体系 [5] 应用场景与挑战 - 人工智能在如校园等敏感场景的落地面临挑战,各部门对数据安全高度敏感,需从后台场景起步,重点推进数据治理,明确管理规则与利用路径 [4] - 技术的应用需考虑用户接受度,例如师生反对用技术进行全方位监测,因此需先建立规范 [4] - 当前基础设施完备,但人工智能技术的落地应用仍存在较大空白,需探索适合场景的技术 [4] 行业活动与倡议 - 大湾区科学论坛人工智能分论坛以“AI & Governance”为主题,围绕前沿技术发展、创新与治理等话题展开讨论 [7] - 论坛发布了“共建可信共生人工智能未来倡议书”,旨在凝聚发展共识 [5][7]
张林山:强化AI技术优势与产业根基深度耦合
经济日报· 2025-11-18 08:02
文章核心观点 - 人工智能向现实生产力转化对于中国构建现代化产业体系和培育新质生产力至关重要,其成效直接关乎全球竞争格局 [1] - 中国人工智能发展呈现出鲜明的场景驱动特征,技术落地深深扎根于全球最完整的工业体系和超大规模市场,形成了“技术突破—产业升级—经济跃升”的良性循环 [1] - 需通过筑牢算力基座、深化融合应用、培育人才、优化生态及完善治理等多方面举措,加速人工智能的高效转化 [2][3] 中国人工智能产业发展现状 - 2024年中国人工智能核心产业规模超9000亿元,人工智能企业数量超5000家 [1] - 工业视觉质检在制造业腹地从“尝鲜”走向“必需” [1] - 青岛港等现代化港口采用智能调度系统,通过人工智能算法统筹作业,整体装卸效率大幅提升 [1] - 农业无人机搭载智能感知系统,实现变量施用,节省大量投入成本并减少环境污染 [1] 全球人工智能发展模式对比 - 美国模式:凭借基础算法和通用大模型的原始创新优势,持续引领技术前沿突破 [2] - 欧盟模式:侧重构建人工智能治理框架,率先推出《人工智能法案》以探索伦理与发展的平衡 [2] - 日本模式:依托工业机器人积淀,在精密制造、医疗康复等特种机器人领域走“垂直领域深耕型”道路 [2] - 中国模式:差异化特色在于利用新型举国体制攻坚“卡脖子”技术,发挥全链条产业配套优势,将领先算法与完整工业体系深度融合,在应用层创新上持续突破 [2] 未来发展方向与政策重点 - 筑牢普惠共享的算力基座,加快构建全国一体化算力网络体系,推动高性能智能算力资源便捷可得、成本可控 [2] - 强化公共算力平台建设,为中小企业扫清“用不起、用不好”的门槛 [2] - 集中力量突破高端算力芯片、模型算法等基础层技术,夯实自主可控根基 [2] - 深化“人工智能+”行动,在智能制造、生物医药、智慧能源等关键领域规划并开放重大应用场景 [3] - 推动大模型与实体经济深度融合,挖掘商业航天、低空经济等新兴领域潜力 [3] - 构建“AI技术+产业知识”的跨界人才培养体系,强化企业创新主体地位 [3] - 加快制定适配人工智能发展规律的法规、伦理准则及标准体系,积极参与全球人工智能治理规则制定 [3]
系好人工智能发展“安全带”
经济日报· 2025-10-18 05:41
人工智能产业发展现状 - 2024年中国人工智能产业规模超过9000亿元人民币,同比增长24% [1] - 中国人工智能企业数量超过5300家,已形成较完整的产业体系 [1] - 人工智能在制造业、金融、医疗等领域应用广泛,展现出降本增效和优化资源配置的巨大潜力 [1] 人工智能安全治理框架升级 - 《人工智能安全治理框架》2.0版正式发布,明确了对不同风险等级人工智能的管理要求 [1] - 新框架为各行业人员识别风险、落实责任提供了清晰指引,使治理更具可操作性 [1] - 框架升级彰显统筹发展与安全的治理智慧,为全球人工智能治理贡献中国方案 [1] 人工智能风险与挑战 - 2019年至2024年间,约74%的人工智能风险事件与安全问题直接相关 [1] - 2024年6月至2025年7月,全球公开报道的人工智能安全事件达59起 [1] - 风险事件涉及伪造诈骗、算法歧视、自动驾驶决策失误等多方面 [1] 人工智能治理原则与分类 - 治理原则强调包容审慎,发展人类可以信赖的人工智能,积极防范风险失控 [2] - 人工智能风险分为三类:技术本身缺陷、使用过程中的中途干扰、产生的连锁反应 [2] - 需依据风险类型采取有针对性的治理手段,让有关主体明确各阶段义务 [2] 生成式人工智能风险治理 - 针对深度伪造风险,需在模型开发阶段嵌入检测技术,输出环节落实内容标识与溯源要求 [3] - 人工智能服务提供者需防范不法分子利用换脸技术进行诈骗的行为 [3] - 监管部门应推动建立追溯系统,并通过公共教育提升公众对合成内容的辨识能力 [3] 协同治理与法规建设 - 综合治理需要政府、企业、科研机构和公众共同参与,进行全链条、全过程管理 [3] - 中国已出台《生成式人工智能服务管理暂行办法》等规范性文件 [3] - 学界推出《人工智能示范法3.0》等专家建议稿,构建有中国特色的治理体系 [3]
人工智能监管应因时而变(微观)
人民日报· 2025-10-16 06:17
人工智能技术应用与风险 - 生成式人工智能技术加速迭代 音频 视频 图像等内容生成效果日趋逼真 带来治理挑战[1] - 截至2024年中国生成式人工智能产品用户规模已达2.49亿人 人工智能生成内容呈现跨平台化和跨境传播特征[1] - 人工智能生成内容易于被批量篡改和重组 源头不易找 追溯难度大 违法违规内容迅速蔓延 侵害个体权益并扰乱网络秩序[1] 人工智能监管政策与法规 - 《人工智能生成合成内容标识办法》施行 规定对生成合成内容要添加显式标识 并在文件元数据中添加隐式标识 为内容溯源与责任认定提供技术保障[1] - 党的二十届三中全会《决定》提出建立人工智能安全监管制度[2] - 《中华人民共和国网络安全法》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规出台为人工智能有效监管奠定基础[2] 司法实践与治理创新 - 司法通过个案裁判和司法解释细化立法原则 填补规则漏洞 实现对技术进步的能动回应 例如最高人民法院2024年发布反垄断民事诉讼司法解释规制互联网平台通过人工智能等技术手段排除 限制竞争的行为[2] - 北京建立人工智能监管沙盒机制 探索弱版权保护政策和风险补偿规则 降低数据安全隐患 减少数据流通合规成本 加快推动人工智能产业化应用[3] - 对人工智能治理与监管需统筹发展和安全 既明确相关主体行为边界 也为创新与探索留足空间 避免过度监管扼杀创新活力[2][3]
守护你我向“网”的生活
新华网· 2025-09-22 08:31
网络安全行业活动与成果 - 2025年国家网络安全宣传周于9月15日至21日以"网络安全为人民 网络安全靠人民"为主题在全国开展 通过高峰论坛、博览会及主题日活动提升社会网络安全意识与防护技能 [1] - 网络安全博览会展示AI鉴伪、智能反诈等"黑科技"产品 中国移动"中移羲和卫士"防诈服务通过AI预警和保险补偿机制已服务超2400万用户 [2] - 国家互联网应急中心牵头发布《人工智能安全治理框架》2.0版 动态优化风险分类分级与治理措施 同期推出政务大模型安全规范、AI安全测评数据集等系列成果 [3] 技术应用与用户防护 - AI技术应用于防诈领域实现实时来电预警、远程插播提醒及临时停机功能 有效阻断诈骗通信链路 [2] - 生成式AI安全风险受关注 业界通过声音克隆、数字人生成等技术体验活动提升公众对前沿技术风险的认知 [2] - 电信诈骗利用网络金融法律盲区实施犯罪 需通过知识普及与案例教育增强群体防范能力 [4] 行业生态建设与推广 - 人工智能安全治理需多方协同 构建"多元协同 责任共担"生态体系 工业信息安全机构强调系统工程属性 [3] - 全国开展线上线下结合的网络安全宣传活动 包括普法脱口秀、企业风险讲解、知识竞答等形式 覆盖校园、企业及公共领域 [5] - 聚焦法治金融电信等重点领域 通过接地气的主题宣传推动"网络安全靠人民"理念普及 [5]