中国AI情感陪伴行业新规与市场现状 - 国家网信办发布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，首次将模拟人类特征、思维和沟通风格进行情感互动的产品定义为“AI情感陪伴” [1] - 国内AI情感陪伴市场已较为成熟，主流模式为AI扮演虚拟角色通过聊天推进剧情，并提供付费语音通话、解锁专属记忆等服务 [1] - 2023年11月数据显示，头部产品月活用户数断层领先：星野（MiniMax）月活达488万人，猫箱（字节跳动）月活472万人，X EVA（红棉小冰）月活181万人，筑梦岛（腾讯阅文）月活约60万人 [1] - MiniMax公司招股书披露，其旗下星野及海外版Talkie在2024年前九个月创造了约1.2亿元人民币收入，用户每天在这两款产品上平均花费超过70分钟 [1] 新规核心监管要求 - 要求交互界面显著提示非真人互动，用户连续在线超过2小时需动态提醒暂停使用，并提供清晰退出选项 [2] - 要求系统能检测用户情绪困扰或依赖行为，当用户提出自杀、自残等极端情况时，需由人工接管对话并及时联系监护人 [2] - 规定除非取得用户“单独同意”，不得将用户交互数据及敏感个人信息用于大模型训练 [2] - 强调AI情感陪伴需在设计、运行、更新和关闭全生命周期考虑安全问题，包括持续监控、风险评估、纠正系统偏差及妥善记录 [2] 头部产品合规现状与潜在整改方向 - 星野、猫箱、筑梦岛三款头部产品目前均在《隐私政策》中默认使用匿名化对话交互信息用于模型训练，采取默认同意逻辑，而非新规要求的单独授权 [2] - 三款产品未提供便捷的同意-拒绝授权开关，用户需发邮件联系公司才能撤回对数据使用的授权 [3] - 三款产品的交互页面虽有“由AI生成”标识，但字号、颜色和透明度可能未达到“显著”提示的要求 [3] - 在内容风控方面，行业主流做法并非简单拦截高风险内容，而是在识别到如自杀倾向等输入后，调用安全知识库或代答模型进行正面引导 [5] 行业面临的安全挑战与全球监管动态 - AI情感陪伴存在用户成瘾、情感操纵及未成年人保护等隐患 [1] - 内容风控在预防自杀方面存在难点，大模型通常只能基于当下输入做语义判断，且用户可能虚构情节绕开安全审核，难以达到社交平台同等深度的干预水平 [5] - 2024年6月，筑梦岛因低俗擦边内容被上海网信办约谈，要求整改并加强涉未成年人不良内容清理 [6] - 全球范围内监管趋严：美国Character.AI因被指控诱发青少年自杀面临起诉；意大利对Replika处以重罚并责令其修复年龄验证缺陷 [6] - 美国已有州层面立法，纽约州要求明确告知用户“这是人工智能”，加州则规定对未成年人需每三小时弹窗提醒休息，该法案将于2026年初生效 [6]