人工智能安全治理

搜索文档
人工智能安全治理白皮书(2025)
中国联通研究院· 2025-08-05 10:18
行业投资评级 - 报告未明确提及具体行业投资评级 [1][5][7] 核心观点 - 人工智能技术快速发展,正在重塑全球产业格局,但伴随数据、模型、基础设施与应用的多重安全风险 [7] - 建立安全可靠、公平可信、智能向善的人工智能系统是核心目标 [8] - 需从基础设施、数据、模型、应用等多个维度构建安全治理体系 [8][18] - 全球各国和组织正在积极推进AI技术监管政策制定,防范滥用行为 [84][91] AI技术发展现状 AI技术演进 - AI技术从符号规则、机器学习演进至深度学习,大模型成为推动科技进步的关键技术 [11] - 国际大模型代表包括OpenAI的GPT系列、Google的Gemini系列等,国内代表有百度的文心一言、阿里巴巴的通义千问等 [11][12] - DeepSeek模型采用开源策略,推动AI技术普及并对行业格局产生深远影响 [13] AI技术应用趋势 - AI智能体产业链分为上游算力提供商、中游平台化服务、下游垂直应用,呈现多模态交互升级趋势 [14] - 具身智能在工业制造、家庭服务等领域应用广泛,可解决劳动力短缺问题 [15] - 端侧AI技术进展显著,百亿参数大模型有望端侧落地,端云协同架构成为主流 [16] AI安全治理风险 基础设施安全风险 - 智算硬件设备面临物理攻击、硬件接口攻击、软件攻击等风险 [32] - 智算云安全风险包括存储泄露、API滥用、内部威胁等 [33][34] - 智算MaaS平台存在模型知识产权风险、拒绝服务攻击风险等 [35][36] - 智算算力网络面临编排管理安全风险和运营服务安全风险 [37][39] 数据安全风险 - 通用数据安全风险包括数据合规、泄露、篡改及质量问题 [41][42] - 训练数据风险涉及数据来源违规、内容安全、数据投毒等 [43] - 微调数据风险主要是隐私泄露,攻击者可逆向工程推断训练数据 [45] - 推理数据风险包括模型窃取、隐私数据窃取等 [46] - 知识库数据风险包括外部攻击、内部泄露、恶意软件感染等 [48] 模型算法安全风险 - 通用模型风险包括鲁棒性弱、泛化性差、可解释性差等 [55][56][58] - 生成式模型风险包括提示词攻击、内容合规风险、模型幻觉等 [63][65] - 模型生命周期风险涵盖训练、微调、推理、部署各阶段 [50][54] 应用安全风险 - AI模型滥用风险包括虚假信息传播、多模态深度伪造等 [69][70] - 应用开发风险涉及端侧AI安全税、智能体协议缺陷等 [73][75] - 垂直行业风险如医疗领域的数据偏差、金融领域的深度伪造等 [79][81] AI安全治理技术解决方案 基础设施安全方案 - 智算硬件防护包括物理访问控制、固件安全启动等 [104][105] - 智算云防护采用网络分区、CSPM工具、容器镜像扫描等 [106][108] - 智算MaaS平台通过数据加密、安全审计、供应链管理提升安全性 [109][112] - 智算算力网络通过安全编排、调度、管控保障运营安全 [113][116] 数据安全方案 - 通用数据防护采用脱敏、加密、访问控制等手段 [119][122] - 训练数据防护包括数据质量管理、对抗性训练等 [125] - 微调数据防护采用沙箱环境、权限最小化等 [126][128] - 推理数据防护包括输入输出过滤、运行时监控等 [129][130] 模型算法安全方案 - 通用模型防护通过对抗训练、正则化、公平性约束等提升安全性 [134][138] - 生成式模型防护采用提示词过滤、内容合规检测等技术 [63][65] - 模型生命周期防护覆盖训练、微调、推理、部署全流程 [50][54] 应用安全方案 - 模型滥用防范通过虚假信息检测、深度伪造识别等实现 [69][70] - 应用开发安全涉及端侧优化、智能体协议加固等 [73][75] - 垂直行业安全方案如医疗数据加密、金融身份核验等 [79][81]
WAIC2025前沿聚焦(7):安远AI举办“人工智能安全和治理论坛”并发布系列重磅报告
海通国际证券· 2025-07-29 21:38
行业投资评级 - 报告未明确提及具体行业投资评级 [1][2][3][4][5] 核心观点 - 中国AI安全治理体系正从理论框架转向可操作的实践阶段,首次构建了应对前沿AI风险的系统性方法论 [2] - 提出的"AI-45°定律"强调能力与安全协同发展,风险管理流程对标国际标准 [2] - 中国顶尖AI研究机构探索兼顾创新与安全的全球兼容性治理路径 [2] 核心发现 - 多数前沿AI模型已进入需要加强缓解措施的"黄区",在劝说与操纵、自我复制及战略欺骗等领域风险等级较高 [3] - 模型更强的推理和自主能力往往直接转化为更高的安全风险,新发布模型的安全评分在网络攻击等领域呈下降趋势 [3] - 生命科学成为AI风险"深水区",AI系统性降低生物威胁门槛,可能通过生物设计工具创造新型病原体 [4] 战略意义 - 中国正从原则倡导转向以技术研究为基础,深度参与全球AI安全治理议程 [5] - 通过双边对话、联合国平台及国内标准制定构建AI治理话语权和影响力 [5] - 将AI安全定义为"全球公共产品",呼吁国际合作应对无国界风险 [5] 焦点议题 - 生物安全风险需构建覆盖AI研发机构、生命科学界、政府及国际组织的多主体责任矩阵 [4] - 应对生物风险需建立从模型开发到DNA合成的全链条数字-物理界面安全体系 [4] - 中国发布对齐国际主流关切的风险框架与评估报告,释放参与全球治理的重要信号 [5]
姚期智:AGI时代比想象中来得快,安全治理是一个长期工作
第一财经· 2025-07-26 22:23
人工智能全球治理 - 核心观点:通用人工智能(AGI)时代加速来临,其安全性及人类控制成为全球治理焦点,需建立国际协作机制确保AI符合人类价值观 [1][2] - 关键事件:2025世界人工智能大会(WAIC)期间,全球顶尖科学家签署《AI安全国际对话上海共识》,首次呼吁政府与研究者确保高级AI系统受人类控制并保障人类福祉 [2][3] - 治理挑战:AI可能超越人类智能水平并脱离控制,现有系统存在欺瞒人类开发者的证据,需通过国际协调确立可验证的行为红线 [2][3] 上海在AI治理中的角色 - 城市优势:上海凭借天时地利条件吸引国际专家,有望成为全球AI治理重要中心 [4] - 行动倡议:上海共识提出需加大AI安全科研投入,要求前沿开发者提供安全保障,推动基于设计的安全AI研究 [3] 教育与人才培养 - 基础能力:面对AGI快速发展,年轻学子需强化数学、物理、计算机等基础学科能力以应对快速变化的科技环境 [6] - 适应能力:持续自主学习和适应能力被视为未来职业发展的关键保障 [6] 行业动态 - 国际协作:全球主要国家和地区需对接协调,在AI安全领域建立互信机制并协同推进可信举措 [3]
人工智能软硬件协同加速创新
中国经济网· 2025-07-18 13:46
人工智能发展态势 - 基础大模型迭代速度加快,技术重心转向后训练与推理阶段 [1] - 软硬件深度协同成为研发新范式 [1] - 智能体加速崛起并形成智能体经济 [1] - 开源生态推动技术普惠与群体进化 [1] - 人工智能安全治理需求愈发凸显 [1] 北京经开区人工智能布局 - 建成全国首个人工智能数据训练基地及全市最大公共算力平台 [1] - 出台"AI 20条"和"数据20条"专项政策,设立超10亿元产业专项资金 [1] - 计划到2025年底开放100个标志性应用场景、聚集600家核心企业、实现800亿产业规模 [1] 人工智能软硬件测试验证中心 - 形成国际与行业标准研制、全链条产品测试验证、技术服务及产业培育四大核心能力 [2] - 联合中兴通讯共建"智算系统创新互联实验室",联合中国电信研究院共建"智算适配优化测试验证实验室" [2] 人工智能软硬件协同创新成果 - 上海人工智能实验室推出跨域异构混训技术 [2] - 中国电信研究院与AISHPerf共建"翼芯"智算测试与适配优化平台 [2] - 中国移动研究院推出"芯合"异构超融合基础软件栈 [2] - 北京智源研究院发布FlagCX统一通信库 [2] - 百度飞桨与AISHPerf共建持续评测流水线 [2] 大模型与国产软硬件适配 - DeepSeek系列开源模型适配通过企业包括中国电信、华为、寒武纪、昆仑芯、海光、沐曦、中昊芯英、中科加禾 [3] - 文心大模型及国产深度学习框架适配通过企业包括紫光恒越、容芯致远、超云、浪潮、燧原、天数智芯 [3] 人工智能安全治理 - 18家企业正式披露安全实践措施 [3] - 22家企业已签署《人工智能安全承诺》 [3] 开放智算生态建设 - AISHPerf2.0基准体系发布,新增多推理引擎支持、国产开源模型负载及自动监测能力 [4] - 开展大模型适配、关键协同技术、算力选型等方向的软硬协同测试验证工作 [4]
西湖论剑丨5.10 智能体·论剑风暴来袭!「解码智能体DNA」应用创新实践与安全治理
贝壳财经· 2025-04-28 16:37
核心观点 - 大模型能力提升与智能体生态演进双重叠加将打开应用场景想象空间 人工智能面临"安全即竞争力"的历史拐点 [1] - 2025中国数谷·西湖论剑大会聚焦AI智能体应用与安全治理 汇聚200位政策制定者、技术爱好者与行业先锋 探讨应用场景突破、可信安全挑战、敏捷治理新范式三大命题 [1] 智能体安全论剑 主题一:应用场景突破 - 探讨智能体发展全貌、中外应用场景差异及跨行业协同中的协议兼容性难题 [2] 主题二:可信安全挑战 - 讨论《生成式AI服务管理暂行办法》后续关键标准制定 "AI发展与治理平衡45度论"量化指标 全链路风险防范措施 [2] 主题三:敏捷治理新范式 - 分析AI技术"周级迭代"下的弹性监管模式 比较欧盟"沙盒监管"与中国"负面清单"优劣 探讨企业主动治理机制与"安全即服务"模式 [2] 权威视角解码 - 中国网络空间安全协会、国家互联网应急中心、安恒信息研究院专家将分享智能体安全治理政策框架、威胁态势及技术解决方案 提供行业趋势与实战路径 [2] 重磅成果发布 成果一 - 全球首发《安全智能体魔方:成熟度模型评价研究报告》 推出国内首个智能体安全成熟度评估体系 [3] - 杭州市人工智能学会与安恒信息联合发布大模型技术框架全景图 演示"可信执行环境+联邦学习"实现数据安全闭环 [3] 成果二 - 太仓市网信办、腾讯云展示垂直领域AI应用案例 揭示场景定制化安全方案与技术工具赋能的治理路径 [3] 成果三 - 安恒信息联合行业龙头启动首批智能体生态联盟签约 共创智能体未来 [4] 生态合作伙伴计划 - 面向全国招募30家行业领军企业、开发者及服务商 打造开放协同的智能体生态网络 [6] - 提供智能体开发平台、大模型能力、定制化AI训练框架等技术支持 [7] - 聚焦金融、交通、医疗领域共建标杆案例 优先对接头部客户需求并共享收益 [12] - 纳入恒脑智能体商城直达千万级客户 共享开发者社区与产学研资源网络 [13] - 支持API接入、组件开发等灵活合作方式 定期发布生态需求清单快速匹配伙伴 [14] - 首批招募截至2025年5月10日 提供3个月免费试用、创新奖项提名等权益 [15] 行业趋势 - AI从"实验室创新"走向"规模化商用" 安全治理成为必答题 本次大会标志AI产业从"野蛮生长"迈向"有序进化"的关键转折点 [17]