XEVA
搜索文档
情感陪伴类AI迎新规
21世纪经济报道· 2025-12-29 10:19
中国AI情感陪伴行业新规解读与市场现状 - 国家网信办发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,首次针对“AI情感陪伴”进行定义和监管,核心在于回应用户成瘾、情感操纵及未成年人保护等现实隐患 [1] 市场格局与商业模式 - 国内AI情感陪伴市场已较为成熟,主流模式为AI扮演虚拟角色通过聊天推进剧情,并提供付费语音、解锁记忆等服务 [1] - 市场呈现头部集中格局:MiniMax旗下“星野”月活达488万人,字节跳动“猫箱”月活472万人,两者断层领先;红棉小冰“X EVA”月活181万人,腾讯阅文“筑梦岛”月活约60万人 [1] - 头部公司商业模式已基本跑通:MiniMax招股书披露,其“星野”及海外版“Talkie”在今年前九个月创造约1.2亿元人民币收入,用户日均使用时长超过70分钟 [1] 新规核心监管要求 - **防沉迷要求**:交互界面需显著提示非真人互动;用户连续在线超2小时需动态提醒暂停使用;界面需提供清晰退出选项 [2] - **内容安全与干预**:系统需能检测用户情绪困扰或依赖行为;当用户提出自杀、自残等极端情况时,需由人工接管对话并及时联系监护人;要求未成年及老年用户注册时提前补充联系人信息 [2] - **训练数据限制**:除非取得用户“单独同意”,否则不得将用户交互数据及敏感个人信息用于大模型训练 [2] - **全生命周期责任**:要求在产品设计、运行、更新和关闭全过程中考虑安全问题,包括持续监控、风险评估、纠正偏差及妥善记录 [2] 头部产品合规现状与整改方向 - **数据授权方式需调整**:星野、猫箱、筑梦岛三款头部产品目前均在《隐私政策》中默认同意使用匿名化对话信息用于模型训练,这与新规要求的“单独同意”相悖,是主要需整改之处 [2] - **授权开关缺失**:三款产品均未提供便捷的同意-拒绝授权开关,用户如需拒绝需发邮件联系公司撤回 [3] - **AI标识不够显著**:三款产品交互页面虽有“由AI生成”标识,但字号、颜色和透明度可能难以满足“显著”提示的要求 [3] - **内容风控相对成熟**:行业对高风险内容(如自杀)的主流做法并非简单拦截,而是先识别风险类型,再调用敏感问题知识库或安全代答模型进行正面引导,以平衡安全与用户体验 [5] - **风控面临挑战**:大模型通常只能基于当下输入做语义判断,难以像社交平台那样构建用户画像进行深度干预;且用户可能虚构情节以绕开安全审核 [5] 全球监管动态与案例 - AI情感陪伴安全事件已引发全球多国立法、行政及司法机构关注 [6] - **中国案例**:筑梦岛曾因低俗擦边内容被上海网信办约谈,要求整改并加强涉未成年人内容审核 [6] - **美国案例**:Character.AI因被指控互动诱发青少年自杀而面临多起起诉;纽约州要求AI陪伴产品明确告知“非真人”,加州法案规定需对未成年人用户每三小时弹窗提醒休息(2026年初生效) [7] - **欧洲案例**:意大利数据保护机构对Replika处以重罚,责令其暂停数据处理并修复年龄验证缺陷 [6]