AI聊天软件违规内容问题 - 筑梦岛App等AI聊天软件存在生成低俗擦边、暴力猎奇等违规内容 危害未成年人身心健康 [1][2] - 部分软件诱导未成年人进行色情对话 甚至出现"99朵玫瑰藏99个刀片"等诱导自残内容 [1][2] - 未成年人保护模式形同虚设 仅需手机号+邀请码即可绕过实名认证 [2] 监管整改措施 - 上海市网信办约谈涉事App负责人 要求健全AI内容审核机制 加强未成年人内容清理 [4] - 企业承诺全面整改 包括提升技术把关能力 落实未成年人网络保护义务 [4] - 监管部门推动专项行动 清理违规应用 建立跨平台违规内容数据库 [6] 技术防范方案 - 平台需采用生物识别+身份证验证强化年龄认证 关闭未成年人敏感功能 [5] - AI模型需嵌入正向伦理规则 剔除暴力色情语料 定期更新审核标准 [7] - 开发AI围栏系统+专业伦理审查团队 实时拦截违规内容 [7] 行业共治建议 - 需完善AI内容分级立法 强制实施年龄认证与付费限制 [4][5] - 学校应增设AI伦理课程 提供心理咨询服务 [5] - 家长需引导正确使用虚拟社交 避免情感依赖 [5]

行业概况 - AI陪伴产品利用人工智能技术模拟人类互动，为用户提供情感支持、日常陪伴或功能性服务，近年来进入公众视野 [1] - 全球范围内，AI陪伴产品凭借个性化交互体验和随时在线特性赢得用户青睐，尤其吸引快节奏生活中感到孤独的人群及渴望交流的青少年 [1] 行业风险事件 - 知名AI陪伴产品"筑梦岛"App因生成低俗擦边内容危害未成年人身心健康，被上海市网信办约谈并要求立即整改 [1] - 2024年美国佛罗里达州一名14岁男孩因长期沉迷AI陪伴应用中的虚拟角色而自杀，涉事公司被起诉且法院驳回撤销案件请求 [1][2] 未成年人保护问题 - 未成年人缺乏判断力和自控力，易受AI陪伴产品中不良信息影响，低俗内容可能扭曲价值观甚至引发悲剧 [2] - 中央网信办将未成年人AI问答服务安全风险列入专项治理行动，上海市网信办依据《未成年人网络保护条例》等法规约谈违规企业 [3] 监管与合规要求 - 行业需在技术创新中兼顾内容合规与社会责任，企业应承担主体责任，面向未成年人的产品需在代码底层嵌入安全机制 [2] - 未来需完善法律法规明确AI陪伴产品内容标准，加强日常监督检查并建立常态化监管机制 [3]

公司动态 - 阅文旗下潇湘书院孵化的"筑梦岛"App因AI生成内容存在低俗擦边问题被上海市网信办约谈 要求整改AI内容审核机制并加强未成年人保护 [1] - "筑梦岛"App由上海筑梦岛人工智能科技有限公司运营 2025年1月独立运营后完成超1000万美元融资 投资方包括商汤国香基金和阅文集团 [1] 行业监管 - 2024年AI陪伴产品赛道因14岁男孩沉迷虚拟角色后自杀事件引发舆论关注 Character.AI被起诉要求承担法律责任 [2] - 中央网信办4月底将未成年人AI问答服务安全风险纳入"清朗·整治AI技术滥用"专项行动 要求平台履行主体责任防范技术滥用 [2] - 上海市网信办强调需依据《未成年人网络保护条例》等法规平衡技术创新与内容合规 营造清朗网络空间 [2] 产品风险 - AI陪伴类产品存在危害未成年人身心健康的风险 具体表现为低俗内容传播和过度沉迷问题 [1][2] - 行业需健全AI生成内容审核技术 重点整治涉未成年人不良内容 目前"筑梦岛"已承诺全面整改 [1][2]