人工智能安全治理
搜索文档
亚太人工智能安全研究学会(APAIS)成立,聚焦大模型安全治理与金融智能化风险防控
财经网· 2026-02-26 11:44
亚太人工智能安全研究学会(APAIS)成立 - 在生成式人工智能和大模型技术加速落地应用的背景下,亚太人工智能安全研究学会(APAIS)近日正式宣布成立[1] - 学会将围绕人工智能安全治理、模型风险控制与数据合规体系建设开展系统性研究与交流,旨在推动区域人工智能安全生态健康发展[1] 成立背景与行业挑战 - 近年来,大模型与智能体(Agent)技术在金融、政务、医疗、工业等领域快速应用,在提升效率与创新能力的同时,也带来了新型挑战[1] - 挑战主要包括模型训练数据安全、隐私推断风险、算法偏差、自动化决策责任界定以及工具调用安全等[1] - 如何在促进人工智能创新发展的同时,构建系统化风险防控机制,已成为行业与监管关注的重要议题[1] 学会筹备与研究方向 - APAIS的筹备工作始于2025年初,由多位长期从事人工智能安全研究、企业应用实践与合规管理工作的专家联合发起[1] - 筹备期间,发起团队围绕大模型安全风险、智能体工具链安全、数据治理体系建设等问题开展了多轮闭门研讨,并形成阶段性研究报告[1] - 学会将重点围绕四个方向开展工作:研究大模型与智能体系统的风险识别与分级管理机制,构建可评估、可审计的安全框架;加强模型训练数据治理与隐私保护技术研究,探索数据最小化、差分隐私及合规审查路径;推动人工智能安全标准与行业实践规范形成;建立人工智能安全通告与案例研究机制,提升行业风险应对能力[2] 金融行业应用与专委会重点 - 钱兴会担任学会秘书长,并负责金融专业委员会工作[2] - 人工智能在金融行业的应用场景高度复杂,涉及客户隐私、交易安全与风险控制等核心领域[2] - 随着大模型逐步参与智能投研、风险评估与自动化决策流程,模型风险管理与数据合规要求不断提升[2] - 金融专委会将重点关注模型风险分类管理、智能体决策可解释性、数据合规审查机制以及审计可追溯体系建设,以推动人工智能在金融领域的安全规范应用[2] 行业意义与未来计划 - 多位行业专家表示,人工智能正成为数字经济的重要基础设施,其安全治理能力将直接影响产业长期稳定发展[2] - 成立专门的区域性人工智能安全研究机构,有助于汇聚专业力量,形成更加系统的风险研究与治理方案[2] - 未来,APAIS将持续发布人工智能安全研究报告与风险提示,组织专题论坛与技术交流活动,促进产学研协同创新,推动人工智能安全治理理念在亚太地区落地[3] - 目前,学会已面向人工智能研发、安全工程、数据治理与合规管理等领域专业人士与机构开放会员申请[3]
人工智能面对多重安全风险,协同治理机制有待健全
第一财经· 2026-02-04 13:13
文章核心观点 - 人工智能技术快速迭代创新,但其伴生的安全风险(如数据安全、算法偏见、模型幻觉等)尚未有效解决,已成为阻碍技术红利释放的关键掣肘[2][4] - 人工智能安全治理是一项需要全产业协同推进的系统性工程,当前行业在统一标准、协同机制等方面仍存在共建合力不足的问题[5] - 中国监管层面正加速构建AI安全治理体系,通过发布多项政策意见和管理办法,旨在推动人工智能应用合规、透明、可信赖,并形成动态敏捷、多元协同的治理格局[6][7] 大模型面临的主要安全风险 - **内容合规与不当内容生成**:内容合规是大模型的生命线,模型可能生成违规内容、表达偏见立场或产生不恰当语言,导致合规风险和声誉损害[3] - **越权引导与安全边界绕过**:通过精心设计的提示词,可诱导模型越过安全边界,回答敏感问题或提供受限信息,且此类攻击手段随模型能力增强而不断演进[3] - **数据与内容的合规风险**:模型训练数据可能包含版权、隐私和知识产权问题,生成内容涉及法律责任归属模糊,在使用过程中存在各类合规挑战[3] - **输出不可控与不可解释**:模型回答存在随机性和不确定性,相同问题可能产生不一致结果,回答逻辑难以解释,预测和控制能力有限,给安全防护带来挑战[3] - **多模态融合输入风险**:多模态模型处理图片、音频、视频等多种输入时,跨模态安全边界不一致,可能导致单一模态防护被绕过,产生安全盲区[3] - **过度推理与算力消耗风险**:引导模型执行过度的计算和推理过程,可能触发资源密集型处理,导致服务响应延迟、成本爆炸和系统资源耗尽等风险[3] 人工智能技术发展趋势与安全挑战 - **技术能力持续扩展**:2025年人工智能技术持续快速迭代,基础模型推理能力显著增强,通过构建统一的跨模态表征空间实现多模态应用,智能体使模型从“语言生成器”向“任务执行者”转变,具身智能驱动机器人实现高阶认知,AI与基础科学深度融合驱动科研范式变革[4] - **安全问题被技术放大**:人工智能数据安全、算法偏见、模型幻觉、情感依赖、数据污染等问题尚未得到有效解决,同时在技术深入赋能过程中被不断放大[4] - **治理的复杂性**:人工智能技术的黑箱属性、应用的不确定性和产业链条的多样性,给模型研发、系统部署、应用运行等不同组织主体带来管理挑战[5] 行业治理现状与政策动向 - **产业协同需求**:人工智能风险的精准防控并非单一企业能独立完成,而是需要全产业协同推进的系统性工程,当前行业在核心治理环节普遍存在共建合力不足的问题,统一标准尚未形成、协同机制仍需完善[5] - **国家层面政策推动**:2025年8月,国务院发布《关于深入实施“人工智能+”行动的意见》,指出要提升安全能力水平,防范模型的黑箱、幻觉、算法歧视等风险,推动人工智能应用合规、透明、可信赖,并加快形成动态敏捷、多元协同的人工智能治理格局[7] - **具体管理办法出台**:2025年8月,工业和信息化部等部门联合发布《人工智能科技伦理管理服务办法(试行)(公开征求意见稿)》,强化科技伦理风险防范;同年12月,国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,首次针对“AI陪伴”类服务提出系统性规范[7] 对AI安全治理未来的探讨 - **大众认知滞后于技术发展**:在AI能力实现飞跃的同时,大众对AI的理解有所滞后,行业正在部署越来越强大的AI系统,却对其内部运作机制知之甚少[8] - **四大核心治理议题**:大模型伦理和安全四大核心议题分别是可解释性与透明度、价值对齐、安全治理框架以及AI意识与福祉[8] - **未来治理方向**:AI可解释性实践尚处于快速发展初期,应鼓励行业自律和“向上竞争”,未来可通过可解释性、价值对齐、安全治理政策等安全护栏和干预措施,让AI遵从人类价值,也让人类对AI“心中有底”,共同开创人机协作的新局面[8]
人工智能面对多重安全风险 协同治理机制有待健全
第一财经· 2026-02-04 12:50
文章核心观点 - 人工智能技术在快速迭代创新的同时,其伴生的安全与治理问题(如数据安全、算法偏见、模型幻觉等)尚未有效解决,已成为阻碍技术红利释放的关键掣肘 [1][3] - 行业与监管层面正协同加速构建AI安全治理体系,通过政策引导、标准制定和行业自律,旨在推动人工智能应用向合规、透明、可信赖的方向发展 [4][5][6] AI技术发展现状与趋势 - 2025年人工智能技术持续快速迭代,基础模型推理能力显著增强,并实现图像、语音和文本等多模态应用 [3] - 智能体技术打通“感知、决策、行动”闭环,使模型从“语言生成器”向“任务执行者”转变 [3] - 具身智能驱动机器人实现高阶认知与自主学习 [3] - 人工智能与生物化学、医药研发等基础科学深度融合,驱动科研范式变革 [3] AI面临的主要安全风险与挑战 - **不当内容生成**:模型可能生成违规内容、表达偏见立场或使用不恰当语言,导致合规风险和声誉损害 [2] - **越权引导**:通过精心设计的提示词诱导模型绕过安全限制,回答敏感问题或提供受限信息,且攻击手段随模型能力增强不断演进 [2] - **数据与内容合规风险**:训练数据可能包含版权、隐私和知识产权问题,生成内容的法律责任归属模糊 [2] - **输出不可控与不可解释**:模型回答存在随机性和不确定性,相同问题可能产生不一致结果,且逻辑难以解释,预测和控制能力有限 [2] - **多模态融合输入风险**:处理图片、音频、视频等多种输入时,跨模态安全边界不一致,导致单一模态防护被绕过,产生安全盲区 [2] - **过度推理与算力消耗风险**:诱导模型执行过度计算,可能触发资源密集型处理,导致服务响应延迟、成本爆炸和系统资源耗尽 [2] - **技术黑箱与产业链复杂性**:技术的黑箱属性、应用的不确定性及产业链条的多样性,给模型研发、部署、应用等不同组织主体带来管理挑战 [4] 行业治理现状与协同需求 - 人工智能风险的精准防控非单一企业能独立完成,是需要全产业协同推进的系统性工程 [4] - 当前行业在核心治理环节普遍存在共建合力不足的问题,统一标准尚未形成、协同机制仍需完善 [4] - AI可解释性实践尚处于早期快速发展阶段,应鼓励行业自律和“向上竞争” [6] 监管政策与治理框架建设 - 2025年8月,国务院发布《关于深入实施“人工智能+”行动的意见》,要求提升安全能力水平,防范模型黑箱、幻觉、算法歧视等风险,并建立健全技术监测、风险预警、应急响应体系 [4] - 2025年8月,工业和信息化部等部门联合发布《人工智能科技伦理管理服务办法(试行)(公开征求意见稿)》,旨在强化科技伦理风险防范,促进负责任创新 [5] - 2025年12月,国家互联网信息办公室公布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,首次针对“AI陪伴”类服务提出系统性规范 [5] - 监管方向坚持包容审慎、分类分级,旨在加快形成动态敏捷、多元协同的人工智能治理格局 [4] 业界观点与治理方向 - 内容合规依旧是大模型的生命线,围绕提示词的各类安全攻击是目前各大模型服务面临的最大挑战 [1] - 大模型伦理和安全四大核心议题包括:可解释性与透明度、价值对齐、安全治理框架、以及AI意识与福祉 [5] - AI模型安全治理的未来,需通过可解释性、价值对齐、安全治理政策等安全护栏和干预措施,让AI遵从人类价值,实现人机协作,打造“智能为人、不落下每一个人”的未来 [6]
粤港澳大湾区生成式人工智能安全发展联合实验室福田服务站启用
中国经济网· 2026-01-07 15:26
粤港澳大湾区AI安全发展联合实验室福田服务站启用 - 粤港澳大湾区生成式人工智能安全发展联合实验室在深圳福田区启用基层服务站,是深圳构建“安全与发展并重”AI产业生态的关键一步 [1] - 该联合实验室由广东省委网信办和国家互联网应急中心广东分中心联合牵头,大湾区相关部门、企业、高校、科研机构共同参与建设 [1] - 福田服务站将承担大模型和算法备案辅导、安全评测、合规培训、政策宣贯等职能,为企业提供一站式、全周期、零距离的专业支持 [1] 深圳(福田)海联大模型和算法赋能服务中心 - 福田服务站与深圳(福田)海联大模型和算法赋能服务中心合署办公,已建立起“预审—辅导—对接—跟踪”闭环服务体系 [2] - 该中心累计服务企业130余家,协助企业启动71例备案流程 [2] - 中心未来将深化合规服务,帮助企业构建覆盖模型全生命周期的安全合规能力,并强化与港澳的跨境协同,推动要素高效流动 [2] 服务站对AI硬件企业的支持与产业协同 - 服务站被视作为AI硬件企业破解发展痛点、打通商业化链路的关键支撑平台,帮助企业精准理解政策细则,避免试错成本 [3] - 深圳具有硬件产业链完整、创新节奏快的优势,例如在深圳一个月能完成AI眼镜的模具开发与样品生产,而在硅谷需半年到一年 [3] - 服务站作为产业协同平台,能帮助企业链接福田乃至深圳的硬件制造、场景应用资源,加速“深圳制造+AI创新”融合落地 [3] 福田区AI产业发展现状与服务体系 - 活动现场,福田区8家备案大模型企业获颁“生成式人工智能服务备案证明”,20多家人工智能企业展出了差异化创新产品 [3] - 福田区打造了“17+41+25”立体化服务网络和“九维赋能、九福智启”服务体系,为AI企业提供九个维度的全链条支持 [4] - 该服务体系已促成技术合作意向26项,常态化举办AI应用加速营、项目路演等活动32场,涉及大模型训练、边缘计算等多个前沿方向 [4] AI出海的国际形势与安全挑战 - 当前大模型产业迈向规模化与全球布局关键时期,AI出海面临数据法律风险等挑战,需对标国际规则 [5] - 人工智能国际治理呈现明显的安全偏好,“透明、可信、安全、负责任”的人工智能是国际社会共同预期 [6] - AI模型及其相关数据属于跨境数据规定的监管范畴,AI生成内容是否合规与目的地法律法规、文化习俗高度相关,需设置个性化安全护栏 [6]
人工智能安全治理力量下沉至基层 一站式赋能企业
南方都市报· 2026-01-07 07:10
粤港澳大湾区AI安全发展联合实验室新设服务机构 - 粤港澳大湾区生成式人工智能安全发展联合实验室在深圳福田和珠海两地新设服务机构,旨在推动AI安全治理力量下沉至基层 [2][4][11] - 联合实验室福田服务站正式启用,将与深圳(福田)海联大模型和算法赋能服务中心一体化运作,为企业提供备案辅导、安全测评等“一站式”服务 [10][12] - 联合实验室珠西中心及珠海服务站揭牌,旨在立足珠海区位与产业优势,打造粤澳AI跨境安全服务枢纽 [4][5][9] 珠海市人工智能产业发展基础与优势 - 珠海市人工智能产业基础扎实,全社会研发投入强度达4.57%,每万人口发明专利拥有量超215件,引育了50家大模型企业 [6] - 珠海市生成式人工智能大模型备案数量位居广东省第三,目前(含横琴)已有8款大模型通过国家网信办备案,另有2款完成登记 [5][8] - 珠海拥有独特的区位与人才优势,是唯一陆桥连接港澳的城市,并集聚了10所高校(其中3所为985本科起点办学高校)及14万在校大学生 [6] - 珠海于2023年12月成立全国首个人工智能发展局,并发放5亿元算力券,发布216个应用场景以支持产业发展 [6] 活动签署的倡议与颁发的认证 - 活动期间,珠海金山办公、广州视源股份、中国通信服务香港等粤港澳企业代表共同签署了《粤港澳大湾区人工智能安全发展企业家倡议》 [8] - 来自粤港澳地区的青年创业者代表联合签署了《粤港澳大湾区人工智能安全发展青年创业者倡议》 [8] - 活动现场为最新一批通过备案的企业颁发了“生成式人工智能服务备案证明”,共有7家企业获证 [8] - 在福田活动现场,相关部门为福田区8家备案大模型企业颁发了“生成式人工智能服务备案证明” [12] AI出海研讨与安全趋势研判 - 活动围绕“把握APEC机遇 扬帆新蓝海”主题,设置了AI出海研讨环节,探讨对标国际规则、应对出海安全风险等议题 [2][13] - 学界专家指出,AI出海需应对数据隐私、模型数据跨境监管及生成内容合规等安全挑战,需根据目的地设置个性化安全护栏 [13] - 联合实验室发布了《2026年度AI安全十大趋势》白皮书,系统预测了2026年AI安全在政策、风险与治理方面的关键方向 [14] AI安全十大趋势核心内容 - **政策合规趋势**:全球AI合规框架加速协同与落地,合规能力成为企业核心竞争壁垒;开源模型滥用风险与监管博弈加剧 [15] - **风险演化趋势**:对抗攻防进入高维博弈阶段,研究显示经特定改写的恶意指令在多个主流模型上攻击成功率超过90% [16];AI武器化拓展网络攻击新战场,2024年全球约67.4%的网络钓鱼攻击采用AI技术 [17];AI智能体安全风险引发监管与责任新考量 [17] - **治理与发展趋势**:AI安全治理走向全生命周期可信化;AIGC原生安全架构将成为基础设施标配;AI对齐研究与实践提速;内容真实性治理成为数字社会基础秩序;算力扩张推动“AI-能源耦合”成为国家安全议题 [18][19] 新设服务机构的核心职能与方向 - **珠海服务站/珠西中心聚焦三大方向**:筑牢跨境安全协同防线(如探索粤澳AI监管规则互认)、赋能特色产业安全发展(如开展无人机、无人船AI安全评测)、构建开放创新生态体系 [9] - **福田服务站核心职能**:承担大模型和算法备案辅导、安全评测、合规培训、政策宣贯等职能,旨在打造大湾区AI安全治理关键支点与示范平台 [12]
中央网信办:强化网络安全防护、网络数据安全管理和人工智能安全治理
每日经济新闻· 2026-01-07 00:07
网络空间治理与安全 - 会议强调守牢网上阵地,坚决维护网上政治安全、意识形态安全和社会大局稳定[1] - 深化综合施策,整治网上各类乱象,切实提高网络生态治理效能[1] - 筑牢安全屏障,强化网络安全防护、网络数据安全管理和人工智能安全治理,全面推进国家网络安全体系和能力现代化[1] 网信领域发展与赋能 - 注重赋能增效,着力推进网信领域科技创新、网信产业生态建设、信息基础设施建设、信息化应用等工作,以信息化助力高质量发展[1] - 夯实法治根基,统筹推进网络领域立法执法普法,深入推进网络空间法治建设[1] 国际合作与系统建设 - 深化互利共赢,积极拓展网络空间国际交流合作,构建网络空间命运共同体[1] - 聚焦全面从严,持续加强网信系统党的建设和干部队伍建设[1]
中国网络空间安全协会卢卫:AI治理应分类,严管高风险场景
南方都市报· 2025-12-20 23:36
AI安全治理的核心理念与框架 - 建立健全面向未来的人工智能安全治理生态需要技术、信任、制度三者形成合力 [4] - AI治理应坚持“分类分级”原则 对自动驾驶、智慧医疗等高风险场景严格监管 对低风险应用则留出创新空间 [2][6] 技术层面的治理举措 - 技术是安全治理的基础支撑 需通过技术创新筑牢安全底线 [5] - 提升AI自身安全性涉及两方面 一是通过对抗训练增强模型鲁棒性 利用差分隐私保护数据安全 二是研究治理技术 如算法漏洞智能检测、深度伪造检测、算法审计工具等 [5] - 需特别注重内生安全 在AI研发初期就嵌入防护机制并不断迭代优化 不能事后“打补丁” [5] - 近年涉AI网络安全事件呈现两大特点 手段智能化 风险场景复杂化并从数字空间渗透到物理世界 [5] - 具身智能已从生产阶段进入现实生活 随着机器人进入家庭 相关安全问题亟待重视 [5] 信任层面的构建路径 - 信任是安全治理的桥梁纽带 为AI发展凝聚社会共识 [5] - AI的普及本质是技术获得社会信任的过程 算法推荐“信息茧房”、自动驾驶伦理困境、AIGC模糊虚实边界等问题会侵蚀公众信任 [6] - 构建信任需要做到“透明可及” 包括提高算法决策过程透明度 避免技术异化对隐私、公平等价值的损害 [6] - 需积极普及AI知识 提升全民数字素养 [6] - 只有赢得公众信任 AI才能在医疗、教育、交通等关键领域得到深度应用 [6] 制度与治理体系设计 - 制度是安全治理的秩序保障 为AI发展全程保驾护航 [6] - 建议建立健全“法律+标准+伦理”的治理体系 既通过《网络安全法》《数据安全法》等法律划出“红线” 也要发挥行业标准、自律公约的柔性调节作用 [6] - 需推动跨部门、跨区域协同治理 并加强国际合作以应对AI安全的全球性挑战 [6] - 随着AI技术迅速迭代 治理需保持“敏捷性” 制度建设需“与时俱进” [7] - 需建立健全动态风险评估机制 为前沿技术和领域的治理提出方案 为创新留出试错空间 [7] - 中国网络空间安全协会已组织专业机构对人工智能模型进行安全和能力评测实践探索 [7]
人工智能发展主线有变,中国信通院给出这些研判
21世纪经济报道· 2025-12-14 08:38
人工智能产业发展现状与规模 - 2024年中国人工智能核心产业规模超过9000亿元,增速达24%,预计2025年有望超过1.2万亿元 [2] - 2025年大模型在语言和多模态理解能力上提升显著,综合能力分别提升了30%和50%,推理、编程等能力发展迅速 [2] 大模型应用落地的主要形式:智能体 - 智能体成为大模型应用落地的主要形式,展现出“数字劳动力”的雏形 [1][2] - 通用智能体(如Genspark、Manus等)在网页交互、信息整合等场景表现优异,据测试可获得比顶级大模型更好的性能 [2] - 专用智能体聚焦编程、法律等垂直场景,强化专业适配能力以实现精准破局 [3] - 智能体总体仍处发展初期,面临任务规划可靠性、系统对接复杂性及权责界定等挑战 [3] AI在产业价值链的渗透与挑战 - AI在产业价值链的分布呈“两端高、中间低”的微笑曲线态势,研发设计与营销服务环节更易获得赋能 [4] - 一个积极信号是,生产制造环节的AI应用案例占比由2024年的19.9%增长至2025年的25.9% [4] - AI向价值创造核心环节渗透的速度受限于工业数据获取难度、工艺知识封装水平及对可靠性的极致要求 [1][6] 制造业数智化发展的未来趋势 - 未来五年制造业数智化将不只解决效率问题,更要解决创新和韧性问题 [6] - 制造企业需更敏捷地捕捉响应需求,组织柔性生产能力并保持高效率和质量 [6] - 制造企业需将工业知识、数据和智能技术结合,以自主生成更具竞争力的产品方案或突破关键制造技术 [6] 智能经济的定义与发展意义 - 智能经济是以人工智能技术为驱动力,旨在提升产业效率、重塑产业模式、扩大生产消费可能性边界的新型经济形态 [7] - 发展智能经济是挖掘经济增长新动能的必然路径,有助于形成强大创新驱动能力并拓展市场空间 [7] - 有观点指出,2025年上半年美国经济增长几乎完全依赖于人工智能基础设施的投资 [8] 智能经济的供给端与消费端影响 - 在供给端,智能经济通过革新生产要素配置等筑牢增长根基,例如AI视觉检测系统可将工业生产漏检率降至近乎为零 [8] - 在消费端,智能经济创造新型消费场景,据监测2025年前10个月中国AI眼镜、智能手表等智能穿戴网零额增长23.1% [8] 具身智能的发展与融资现状 - 具身智能作为大模型与机器人结合的产物,2025年在政策与资本推动下快速发展,融资金额超400亿元,产业上下游企业达350多家 [9] - 当前具身智能在“认知智能”(大脑)和“物理智能”(身体)上均取得双线突破 [1][9] 具身智能面临的挑战与路线之争 - 具身智能的模型路线、数据范式以及最佳机器人形态仍未定型,大规模落地仍处于早期阶段 [1][9] - 模型路线之争:大模型范式是否适用于机器人控制仍未被证明,业界在探索多种途径 [9] - 数据范式之争:机器人模型依赖真机数据、合成/仿真数据、人类第一视角视频数据,但数据仍是核心瓶颈,范式仍在演化 [10] - 形态路线之争:分为坚持全人形路线的人形坚守派(如Tesla、Figure AI)与强调工程可落地性的折中派(国内企业的轮-臂式复合机器人) [11] 人工智能安全治理成为发展主线 - 随着人工智能应用深化与潜在风险显化,安全治理已成为与技术发展并行的另一条主线 [1][13] - 2025年,应对模型幻觉、虚假信息、数据安全、智能体安全等现实风险迫在眉睫,同时需警惕前沿模型的潜在风险 [13] - 产业主体需构建面向AI风险管控的“PDCA”循环,形成自闭环的敏捷治理机制以控制风险 [13] 政策导向与宏观部署 - 《国务院关于深入实施“人工智能+”行动的意见》于2025年8月印发,提出到2030年智能经济成为我国经济发展的重要增长极 [7] - 中央经济工作会议对“人工智能+”的部署从2024年的“开展”延展为2025年的“深化拓展”,并加入“完善人工智能治理” [12]
专家献策AI敏捷治理:要重视生成式数据,提前“预埋”标识
南方都市报· 2025-12-08 13:14
行业核心观点 - 人工智能的“敏捷治理”成为行业共识,强调治理需与技术发展同步,事前预埋治理逻辑,而非事后补救 [3][4] - 构建“安全可信、创新共生、包容普惠”的人工智能发展新生态是行业倡议的共同目标 [5][7] 治理理念与框架 - “敏捷治理”的核心是“边发展边治理”,确保治理节奏与发展步伐同频同步 [4] - 治理应注重事前预埋逻辑,例如在生成式数据中结合显式与隐式标识,防止篡改,立法与技术部门需提前介入 [3] - 人工智能技术的应用必须建立在明确规范之上,先立规矩再谈开发,尤其在敏感场景 [4] 技术治理的具体实践 - 在数据源头进行严格筛选,以规避安全风险,并针对模型“幻觉”现象进行研究优化 [5] - 构建多层次安全防护体系:包括源头数据防护、生成内容清晰标注(如京东直播中对AI生成内容进行标注)、以及敏感内容持续监测 [5] - 将人工智能安全治理贯穿于技术研发到落地应用的全流程,包括模型安全保障和外部安全屏障,并针对不同产品特性搭建独立的安全保障体系 [5] 应用场景与挑战 - 人工智能在如校园等敏感场景的落地面临挑战,各部门对数据安全高度敏感,需从后台场景起步,重点推进数据治理,明确管理规则与利用路径 [4] - 技术的应用需考虑用户接受度,例如师生反对用技术进行全方位监测,因此需先建立规范 [4] - 当前基础设施完备,但人工智能技术的落地应用仍存在较大空白,需探索适合场景的技术 [4] 行业活动与倡议 - 大湾区科学论坛人工智能分论坛以“AI & Governance”为主题,围绕前沿技术发展、创新与治理等话题展开讨论 [7] - 论坛发布了“共建可信共生人工智能未来倡议书”,旨在凝聚发展共识 [5][7]
张林山:强化AI技术优势与产业根基深度耦合
经济日报· 2025-11-18 08:02
文章核心观点 - 人工智能向现实生产力转化对于中国构建现代化产业体系和培育新质生产力至关重要,其成效直接关乎全球竞争格局 [1] - 中国人工智能发展呈现出鲜明的场景驱动特征,技术落地深深扎根于全球最完整的工业体系和超大规模市场,形成了“技术突破—产业升级—经济跃升”的良性循环 [1] - 需通过筑牢算力基座、深化融合应用、培育人才、优化生态及完善治理等多方面举措,加速人工智能的高效转化 [2][3] 中国人工智能产业发展现状 - 2024年中国人工智能核心产业规模超9000亿元,人工智能企业数量超5000家 [1] - 工业视觉质检在制造业腹地从“尝鲜”走向“必需” [1] - 青岛港等现代化港口采用智能调度系统,通过人工智能算法统筹作业,整体装卸效率大幅提升 [1] - 农业无人机搭载智能感知系统,实现变量施用,节省大量投入成本并减少环境污染 [1] 全球人工智能发展模式对比 - 美国模式:凭借基础算法和通用大模型的原始创新优势,持续引领技术前沿突破 [2] - 欧盟模式:侧重构建人工智能治理框架,率先推出《人工智能法案》以探索伦理与发展的平衡 [2] - 日本模式:依托工业机器人积淀,在精密制造、医疗康复等特种机器人领域走“垂直领域深耕型”道路 [2] - 中国模式:差异化特色在于利用新型举国体制攻坚“卡脖子”技术,发挥全链条产业配套优势,将领先算法与完整工业体系深度融合,在应用层创新上持续突破 [2] 未来发展方向与政策重点 - 筑牢普惠共享的算力基座,加快构建全国一体化算力网络体系,推动高性能智能算力资源便捷可得、成本可控 [2] - 强化公共算力平台建设,为中小企业扫清“用不起、用不好”的门槛 [2] - 集中力量突破高端算力芯片、模型算法等基础层技术,夯实自主可控根基 [2] - 深化“人工智能+”行动,在智能制造、生物医药、智慧能源等关键领域规划并开放重大应用场景 [3] - 推动大模型与实体经济深度融合,挖掘商业航天、低空经济等新兴领域潜力 [3] - 构建“AI技术+产业知识”的跨界人才培养体系,强化企业创新主体地位 [3] - 加快制定适配人工智能发展规律的法规、伦理准则及标准体系,积极参与全球人工智能治理规则制定 [3]