行业监管动态 - 国家网信办发布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，向社会公开征求意见 [1] - 该办法旨在规范利用人工智能技术向公众提供模拟人类人格特征、思维模式和沟通风格，进行情感互动的产品或服务，即“人工智能拟人化互动服务” [1] - 此类服务最常见的形式包括AI大模型、聊天机器人、游戏内的对话NPC等 [1] 核心监管要求 - 规定服务提供者应当建立应急响应机制，当发现用户明确提出实施自杀、自残等极端情境时，必须由人工接管对话，并及时采取措施联络用户监护人、紧急联系人 [1] - 明确禁止通过鼓励、美化、暗示自杀自残等方式损害用户身体健康，或通过语言暴力、情感操控等方式损害用户人格尊严与心理健康 [2] 监管逻辑与行业影响 - 新规触及人工智能治理中最核心且敏感的底线：当算法面对真实的人类生命风险时，如何让位于人 [1] - 新规探索一种新的AI治理逻辑，核心在于“人工接管”，将生命风险触发人工接管写入制度讨论，将用户生命安全置于最高优先级 [2] - 在极端风险场景下，AI服务必须暂停并交由人类接管，以便进行必要的人工干预 [2] - 此举是对人工智能能力边界的清醒认知，因为大模型不具备真正的价值判断能力，且可能出现“幻觉” [3] - 人工智能无法承担责任，一旦出现严重后果，责任最终需由平台、企业等人工方承担，因此事前接管优于事后处理 [3] - 从长期治理逻辑看，必要的人工接管是对AI不能承担终极伦理责任的明确承认，是人类对技术权力的主动限制 [5] 行业现状与挑战 - AI大模型今年以来呈现爆发式增长，用户规模增速不减 [1] - 大模型对公众工作与生活影响日益增大，主要以解忧与助力为主，但也滋生了利用大模型生成传播有害内容、诱导套取涉密敏感信息等问题 [1] - 从全球范围看，在医疗、金融、司法等领域，逐步确立人工兜底原则是监管大趋势 [4] - 美国已发生数起个人与大模型深度交流后自杀身亡的事件，并引发了相关诉讼和伦理讨论 [4] 实施难点与讨论焦点 - 如何建立实际可操作、利大于弊的人工兜底机制，需要在技术发展、隐私、伦理和安全等维度寻找平衡点 [4] - 技术发展总是快于监管设计，即便法规施行，未来仍需进行与时俱进的细化与修订 [4] - 人工接管机制面临多项具体挑战：人工接管的边界如何界定、AI识别用户真实情绪状态的准确性、相关数据收集是否侵害用户隐私、是否会形成“过度关怀”或打扰 [5] - 中小企业是否有能力设立全天候人工响应机制成为现实问题 [5] - 人工介入后是否负有进一步干预义务，人工接管应是风险中止机制还是强制救助义务，这些都可能影响AI陪聊与拟人化服务的发展空间 [5] - 在具体执行中，应遵循触发机制的最低必要原则，防止人工接管责任的过度扩张，并坚守程序正义，确保结果可申诉、信息可查询、第三方监督可介入 [5] 行业定位与长期方向 - 人工接管边界的设置，实质上也是为AI服务能力设置边界，提示公众认识到“AI能力有限”的现实 [6] - 现阶段，AI还不能承担心理支持、情绪照料的责任，更不能充当能够进行价值判断、伦理权衡和责任承担的主体 [6] - 心理支持、情绪陪伴、道德劝导等工作仍应由真实人类社会承担主要责任，需防止AI被推上法律意义的“道德代理人”位置 [6] - 该征求意见稿主要聚焦于两个目的：引领人工智能负责任创新，以及为构建“以人为本”的人工智能治理体系提供制度支撑 [6] - 行业发展需确保始终服务于公众福祉，同时服务于技术创新的国家战略与政策导向 [6]