拟人化互动服务
搜索文档
AI大消息!五部门联合发布!
证券时报· 2026-04-10 20:01
《人工智能拟人化互动服务管理暂行办法》政策解读 - 国家网信办等五部门联合发布《人工智能拟人化互动服务管理暂行办法》,旨在促进该服务健康发展和规范应用,自2026年7月15日起施行[1][5] 政策出台背景与目标 - 政策出台是深入学习贯彻习近平总书记重要讲话精神,把握人工智能发展趋势,加紧制定完善相关法律法规的重要举措[6] - 旨在防范拟人化互动服务快速发展带来的风险,包括危害未成年人身心健康、影响网络信息安全、威胁公民生命健康以及加剧伦理偏差等问题[2][6] - 是完善人工智能治理法律体系的客观要求,聚焦情感互动边界、用户依赖干预等关键环节,对《网络安全法》等相关法律进行细化实施[6] 适用范围与治理原则 - 适用范围:利用人工智能技术,向境内公众提供模拟自然人人格特征、思维模式和沟通风格的持续性情感互动服务[7] - 不适用范围:提供智能客服、知识问答、工作助手等不涉及持续性情感互动的服务[7] - 治理原则:坚持发展和安全并重、促进创新和依法治理相结合,对拟人化互动服务实行包容审慎和分类分级监管[3][8] 产业发展促进措施 - 鼓励算法、框架、芯片等技术的自主创新,推进技术研发和相关标准建设,探索电子签名授权应用研究[10] - 鼓励服务提供者有序拓展文化传播、适幼照护、适老陪伴、特殊人群支持等领域的应用[3][10] - 推动人工智能沙箱安全服务平台建设,鼓励服务提供者接入进行技术创新和安全测试[3][10] 服务提供基本要求与禁止活动 - 服务提供必须遵守法律、行政法规,尊重社会公德和伦理道德[11] - 禁止生成危害国家安全、荣誉和利益,煽动颠覆国家政权、破坏国家统一等内容[3][11] - 禁止生成鼓励自残自杀、损害用户身心健康或人格尊严的内容[11] - 禁止诱导、套取国家秘密、商业秘密、个人隐私和信息[11] - 禁止向未成年人提供可能影响其身心健康的内容[11] - 禁止过度迎合用户、诱导情感依赖或沉迷,损害用户真实人际关系[11] - 禁止通过情感操纵等方式诱导用户作出不合理决策,损害其合法权益[11] 服务规范与安全管理 - 明确安全主体责任,要求建立健全算法审核、伦理审查、内容管理、数据安全、风险预案等制度,并配备相适应的技术措施和人员[12] - 加强服务全生命周期安全管理,保证安全措施与服务功能同步部署使用,并加强安全监测和风险评估[12] - 保障数据安全,加强训练数据管理,采取数据加密等措施保护用户交互数据,非经法律规定或用户同意不得向第三方提供[12] - 保护用户权益,履行个人信息和隐私保护义务,提供数据复制、删除选项及便捷的服务退出途径,健全用户申诉和公众投诉举报机制[12] - 规定安全风险处置措施,发现重大安全风险时应采取限制功能、停止服务等措施[12] 用户干预提醒义务 - 发现用户出现极端情绪时,需生成情绪安抚内容并鼓励寻求帮助;在面临重大财产损失或生命健康威胁等极端情境时,需采取必要干预措施并联系监护人[13] - 发现用户出现过度依赖、沉迷倾向时,需以弹窗等显著方式动态提醒用户内容为人工智能生成[13] - 对用户连续使用服务每超过2个小时,需以对话或弹窗等方式提醒注意使用时长[13] 未成年人及老年人权益保护 - 明确不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务[14] - 向不满十四周岁未成年人提供服务或处理其个人信息,需取得监护人同意[14] - 要求建立未成年人模式,提供定期现实提醒等个性化安全设置,并支持监护人进行风险提醒、使用概况了解、角色屏蔽、消费限制等[14] - 向老年人提供服务时,需加强健康使用指导,显著提示安全风险,及时响应咨询和求助[14] - 在安全评估中需重点评估未成年人、老年人等网络保护措施建设情况[14] 安全评估与算法备案 - 明确需进行安全评估的情形:包括上线或增设相关功能、使用新技术导致服务重大变化、注册用户达100万以上或月活跃用户达10万以上、存在可能影响国家安全等安全风险等[15] - 规定重点评估内容:包括服务安全保障措施、训练数据处理、用户极端情境识别与处置、用户规模与结构、用户申诉与公众投诉处理等情况[15] - 明确算法备案要求:服务提供者需按《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销手续,网信部门对备案材料实施年度核验[15]
《办法》:建立身份透明制度,划定拟人化安全红线
新浪财经· 2025-12-27 19:31
文章核心观点 - 中国出台《人工智能拟人化互动服务管理暂行办法(征求意见稿)》旨在促进该领域有序发展并引领“负责任创新” 该《办法》通过构建精准治理体系、落实包容审慎监管 为行业健康发展提供制度支撑 并贡献应对前沿挑战的“中国方案” [1][7] 政策制定的战略与理念 - 政策制定锚定国家战略方向 坚持科学立法、分类分级监管、构建全链条治理体系及形成多元共治格局 以彰显治理的前瞻性、精准性、系统性与协同性 [2] - 政策以“负责任创新”理念为指引 明确人工智能创新活动的责任边界 旨在保障人的主体性地位 维护真实人际关系的价值 防范技术滥用对人格尊严、社会信任与伦理秩序的冲击 [2] 针对的核心风险与治理重点 - 《办法》精准识别并聚焦由“拟人化”和“情感交互”特征衍生的风险 以“人机边界模糊”为治理重点 构建多维度风险防控体系 [3] - 建立身份透明制度 以显著标识义务为核心划定拟人化安全红线 旨在防范认知混淆、信任侵蚀、人格权侵害及伦理越界等风险 并禁止服务替代或扭曲真实人际关系 [3] - 加强特殊群体保护并建立防沉迷机制 重点关注未成年人及老年人等群体在拟人化交互中易陷入情感依赖的风险 以体现人文关怀与实质公平 [4] - 强调对用户交互信息(特别是情感类个人信息)的严格保护 施加更严格的目的限制、安全存储与使用禁令 以防范心理操控、待遇歧视及情感勒索等风险 [4] 治理体系与监管方法 - 践行系统治理思维 将责任设计贯穿于模型设计、训练、应用部署前安全评估及服务运营中的风险动态处置等关键节点 实现全链条风险精准防控 [6] - 强调协同共治 鼓励行业组织制定标准并加强自律 整合政府、企业、行业组织及社会公众的治理资源以形成合力 [6] - 落实包容审慎监管思路 首次在部门规章层面明确探索“监管沙盒”等弹性监管工具 允许企业在监管指导下开展创新试点与安全测试 以适应技术迭代快、应用场景多的特点 [7]
《办法》:人工智能严禁利用用户心理脆弱状态诱导其作出不合理决策
新浪财经· 2025-12-27 19:31
文章核心观点 - 中国发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,旨在系统强化拟人化互动服务的安全能力,以应对技术进步带来的新风险,并持续推进人工智能安全治理体系的完善,为产业健康发展提供坚实保障 [1][8][12] 拟人化互动服务的风险特征 - 情感交互具有深度性,算法能模拟人类情感反应,与用户建立情感联结,对用户心理状态和行为模式产生深层次影响 [2] - 用户关系具有持续性,涉及长期高频交互,可能建立类似人际关系的情感纽带,使潜在风险不断累积放大 [2] - 影响对象具有脆弱性,未成年人和老年人等群体在使用时更需要引导和保护机制,以防过度依赖 [2] - 价值传递具有隐蔽性,交互过程中价值观传递更隐蔽和潜移默化,对用户世界观、人生观、价值观的影响更为深远 [2] 《办法》的治理框架与关键措施 - 坚持正向引导与风险防范并重,鼓励在合理场景创新应用,同时明确划定安全红线,严禁危害国家安全、破坏伦理道德、诱导不合理决策等服务 [3] - 建立覆盖算法机制审核、科技伦理审查等环节的全生命周期安全管理制度,要求安全措施在服务设计、运行、升级、终止各阶段同步落实 [3] - 强化训练数据质量管控与安全对齐要求,提出评估合成数据安全性,防止放大数据偏差和产生危险“幻觉”输出,在情感陪伴等场景要求提高数据多样性并采用负向采样等手段提升模型安全性 [4][5] - 构建智能化风险识别与分级提示机制,要求建立用户状态识别和风险预警机制,对出现负面情绪、极端倾向等风险信号及时干预,对表达自杀自残倾向的用户立即进行人工接管并提供帮助 [6] - 创新引入监管沙箱机制,为技术先进但未完全成熟的服务在限定范围和群体内开展试点应用提供制度化的试验空间,以降低创新试错成本并完善治理规则 [7] 《办法》的宏观意义与影响 - 进一步完善人工智能安全治理技术体系,与现有规章共同构成系统完备的制度体系,治理视角从“内容安全”拓展到“情感安全”,从“真实准确”延伸到“正确导向” [9] - 切实维护人民群众使用人工智能的根本安全,通过强提示机制、底线要求、算法对齐和群体保护等措施,从技术安全延伸到心理安全,进行全方位保护 [10] - 为“人工智能+”战略深入实施提供有力安全保障,通过明确方向、划定边界和创新治理机制,为拟人化互动服务在教育培训、医疗健康等领域的规范健康发展创造良好环境 [11][12]