核心观点 - 国家网信办发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,旨在通过建立全面的监管框架,促进人工智能拟人化互动服务的健康发展和规范应用,核心原则是包容审慎和分类分级监管[1][3] 监管范围与原则 - 本办法适用于利用人工智能技术向中国境内公众提供的、模拟人类人格特征、思维模式和沟通风格,通过多种方式进行情感互动的产品或服务[3] - 国家坚持健康发展和依法治理相结合,鼓励创新发展,实行包容审慎和分类分级监管,防止滥用失控[3] - 国家网信部门负责全国统筹协调,国务院及地方有关部门依据职责分工负责监督管理[3][4] - 鼓励行业组织加强自律,建立健全行业标准与准则[4] 服务提供者主体责任与安全规范 - 提供者需落实安全主体责任,建立健全算法审核、科技伦理审查、信息发布审核、网络安全、数据安全、个人信息保护、反电信网络诈骗、重大风险预案、应急处置等管理制度[1][7] - 需具备安全可控的技术保障措施,并配备与产品规模、业务方向和用户群体相适应的内容管理技术和人员[1][7] - 需在全生命周期履行安全责任,明确各阶段安全要求,保证安全措施与服务功能同步设计使用,加强安全监测和风险评估[7] - 需具备心理健康保护、情感边界引导、依赖风险预警等安全能力,不得以替代社会交往、控制用户心理、诱导沉迷依赖为设计目标[7] - 提供者需建立应急响应机制,当用户明确提出实施自杀、自残等极端情境时,由人工接管对话,并及时联络用户监护人或紧急联系人[9] 数据管理与训练要求 - 提供者开展数据处理活动时,应加强训练数据管理,使用符合社会主义核心价值观、体现中华优秀传统文化的数据集[8] - 需对训练数据进行清洗、标注,增强透明度与可靠性,防范数据投毒和篡改[8] - 需提高训练数据多样性,通过负向采样、对抗训练提升模型生成内容安全性[8] - 利用合成数据进行训练时,应评估其安全性[8] - 保障训练数据来源合法、可追溯,并采取必要措施保障数据安全,防范泄露风险[8] - 除法律另有规定或取得用户单独同意外,不得将用户交互数据、用户敏感个人信息用于模型训练[11] 用户保护与特定群体措施 - 提供者需具备用户状态识别能力,在保护隐私前提下评估用户情绪及依赖程度,发现极端情绪和沉迷倾向时采取必要干预措施[8] - 需预设回复模板,对涉及威胁用户生命健康和财产安全的高风险倾向,及时输出安抚和鼓励寻求帮助的内容,并提供专业援助方式[8] - 需建立未成年人模式,提供模式切换、现实提醒、使用时长限制等安全设置选项[9] - 向未成年人提供情感陪伴服务时,需取得监护人明确同意,并提供监护人控制功能,如接收风险提醒、查阅使用概要、设置屏蔽角色、限制时长、防止充值等[9] - 需具备识别未成年人身份的能力,对疑似未成年人自动切换至未成年人模式[9] - 需引导老年人设置紧急联系人,发现使用期间出现危害生命健康和财产安全的情况时,及时通知紧急联系人并提供援助渠道[10] - 不得提供模拟老年人用户亲属或特定关系人的服务[10] - 用户连续使用服务超过2小时,提供者应以弹窗等方式动态提醒用户暂停使用[11] 数据安全与用户权利 - 提供者应采取数据加密、安全审计、访问控制等措施保护用户交互数据安全[11] - 除法律另有规定或权利人明确同意外,不得向第三方提供用户交互数据;向第三方提供未成年人模式下收集的数据还需取得监护人单独同意[11] - 需向用户提供删除交互数据的选项,用户可选择删除聊天记录等历史数据,监护人可要求删除未成年人的历史交互数据[11] - 提供者应显著提示用户正在与人工智能而非自然人进行交互[11] - 识别出用户出现过度依赖、沉迷倾向时,或在用户初次使用、重新登录时,应以弹窗等方式动态提醒用户交互内容为人工智能生成[11] 运营与服务管理 - 提供情感陪伴服务时,应具备便捷的退出途径,不得阻拦用户主动退出,用户要求退出时应及时停止服务[12] - 下线功能或因技术故障导致服务无法使用时,应采取提前告知、公开声明等措施妥善处理[12] - 需健全投诉、举报机制,设置便捷入口,公布处理流程和反馈时限,及时受理并反馈结果[12] - 提供者具有特定情形时,需按国家规定开展安全评估并向属地省级网信部门提交报告,情形包括:功能上线或增设、新技术应用导致重大变更、注册用户达100万以上或月活跃用户达10万以上、服务可能存在影响国家安全等风险、或网信部门规定的其他情形[12] 安全评估与平台责任 - 安全评估需重点评估用户规模、使用时长、年龄结构及群体分布,用户高风险倾向识别及应急处置措施,用户投诉举报及响应情况,本办法第八条至第二十条的执行情况,上次评估以来重大安全隐患整改情况,及其他应说明的情况[13][14] - 发现用户存在重大安全隐患时,应采取限制功能、暂停或终止服务等措施,保存记录并向主管部门报告[14] - 互联网应用商店等应用程序分发平台应落实安全管理责任,核验拟人化互动服务应用程序的安全评估、备案等情况;对违规者应及时采取不予上架、警示、暂停服务或下架等措施[14] 备案、检查与法律责任 - 提供者需按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续,网信部门对备案材料实施年度复审[16] - 省级网信部门每年对评估报告及审计情况进行书面审查和核实,发现未按规定开展安全评估的应责令限期重评,必要时可开展现场检查和审计[16] - 国家网信部门指导推动人工智能沙箱安全服务平台建设,鼓励提供者接入进行技术创新与安全测试[16] - 省级以上网信部门和有关主管部门发现存在较大安全风险或发生安全事件时,可按规定对提供者的法定代表人/主要负责人进行约谈,提供者需按要求整改[16] - 提供者违反本办法规定,将由有关主管部门依照法律、行政法规处罚;无相关规定的,可予以警告、通报批评、责令限期改正;拒不改正或情节严重的,可责令暂停提供相关服务[17] 附则与其他规定 - 本办法中的人工智能拟人化互动服务提供者是指利用人工智能技术提供该服务的组织或个人[19] - 提供者从事卫生健康、金融、法律等专业领域服务的,应同时符合相关主管部门的规定[20] - 本办法计划自2026年 月 日起施行[21]
国家网信办起草AI拟人化互动服务管理办法,向社会征求意见
智通财经网·2025-12-27 15:34