未成年人网络保护政策演进 - 2021年上海在全国率先试点《上海网络平台青少年模式设置指南》，要求对不同年龄段青少年设置差异化功能限制，如对8-16周岁及16-18周岁用户在充值和购买产品时设置单次及每月累计金额上限，并明确青少年模式下不得开启打赏功能，未满16周岁不能担任网络主播 [2] - 2024年底国家网信办推出《移动互联网未成年人模式指南》，青少年模式正式升级为未成年人模式，并于2025年4月在全国推广 [3] - 2025年7月11日上海市委网信办在分类指导会上强调属地网络平台需注重“三个优化”，实现时间、内容、功能三方面管理升级，包括由移动智能终端统一控制总时长、分年龄段推荐适龄内容、合理限制诱导沉迷功能 [3] 平台未成年人模式实践与创新 - 哔哩哔哩近一年来围绕“知识启蒙、安全教育、情绪疏导、兴趣发展”建立内容分层推荐，并探索按年龄阶段匹配差异化推荐策略，将未成年人模式重新定位为“可控的现实暴露”和“适龄的信息锻炼” [3] - 喜马拉雅与北师大专家合作研发“分级听读体系”，将儿童内容分为9个级别，通过便捷测试为每个孩子推送合适内容，实现内容难度和主题与心智发展阶段的精准匹配 [4] - 小红书在2025年暑假期间启动未成年人反诈专项工作，采取“端内画风管控+风险阻断提醒+评论拦截屏蔽+群聊封禁解散”四位一体技战法进行综合治理，其未成年反诈指南超级话题已获得超4亿曝光量，引发31万次站内讨论 [12] AI技术滥用风险与整治 - 2025年6月筑梦岛App因AI智能体内容生成环节存在低俗擦边等违规内容被曝光，上海市委网信办依法约谈该平台要求立即整改，健全AI生成合成内容审核机制 [7] - 上海组织开展“清朗・整治AI技术滥用”专项行动，聚焦利用AI技术制作发布谣言、不实信息、色情低俗内容等突出问题，对屡教不改、问题严重的企业将依法处罚并曝光典型案例 [8] - 徐汇区委网信办发布《未成年人科学使用AI倡议书》，从政府构建良好生态、企业践行社会责任、青少年培育科学精神三方面提供引导，推动形成“政府引导、企业担责、青少年自主”新模式 [8] 未成年人心理健康守护举措 - 哔哩哔哩推动“能量加油站”心理关怀项目焕新升级，引入“心情模式”智能功能，根据用户情绪状态自动切换界面主题配色，并与专业第三方心理健康公益组织合作设立公益热线提供支持 [13] - Soul平台与北京回龙观医院、上海精神卫生中心深度合作设立专属心理援助热线，建立警企联动机制，接到用户反馈若判定为真实轻生等信息则立即报警 [13] - 普陀区升级打造“阳光成长·心网相护”品牌项目，采用“沉浸式心理剧”与分龄化主题沙龙还原家庭手机使用冲突场景，将防沉迷理念转化为家庭教育实践 [14] 网络素养教育与社会协同 - 上海市委网信办依托专项协同机制创新推出未成年人网络素养“菜单式”课程库，实现“点单”授课、按需施教，2025年网络素养课程走进各区爱心暑托班 [9] - 2025年各区积极开展网络素养教育：长宁区与近100名学生互动交流个人信息保护等话题，普陀区课程覆盖约200人次，宝山区推出“争做网络文明小达人”等课程，闵行区以真实案例科普网络安全知识 [11] - 米哈游向上海市慈善基金会徐汇区代表处捐赠成立“点亮计划”青少年保护专项基金，用于青少年网络保护、服务和权益保障等慈善公益类项目 [11] 专项行动治理成效 - “清朗守护·为你而来”专项行动指导属地网站平台清理违法违规信息324万余条，处置违法违规账号3.8万余个 [15]

AI聊天软件违规内容问题 - 筑梦岛App等AI聊天软件存在生成低俗擦边、暴力猎奇等违规内容 危害未成年人身心健康 [1][2] - 部分软件诱导未成年人进行色情对话 甚至出现"99朵玫瑰藏99个刀片"等诱导自残内容 [1][2] - 未成年人保护模式形同虚设 仅需手机号+邀请码即可绕过实名认证 [2] 监管整改措施 - 上海市网信办约谈涉事App负责人 要求健全AI内容审核机制 加强未成年人内容清理 [4] - 企业承诺全面整改 包括提升技术把关能力 落实未成年人网络保护义务 [4] - 监管部门推动专项行动 清理违规应用 建立跨平台违规内容数据库 [6] 技术防范方案 - 平台需采用生物识别+身份证验证强化年龄认证 关闭未成年人敏感功能 [5] - AI模型需嵌入正向伦理规则 剔除暴力色情语料 定期更新审核标准 [7] - 开发AI围栏系统+专业伦理审查团队 实时拦截违规内容 [7] 行业共治建议 - 需完善AI内容分级立法 强制实施年龄认证与付费限制 [4][5] - 学校应增设AI伦理课程 提供心理咨询服务 [5] - 家长需引导正确使用虚拟社交 避免情感依赖 [5]

行业概况 - AI陪伴产品利用人工智能技术模拟人类互动，为用户提供情感支持、日常陪伴或功能性服务，近年来进入公众视野 [1] - 全球范围内，AI陪伴产品凭借个性化交互体验和随时在线特性赢得用户青睐，尤其吸引快节奏生活中感到孤独的人群及渴望交流的青少年 [1] 行业风险事件 - 知名AI陪伴产品"筑梦岛"App因生成低俗擦边内容危害未成年人身心健康，被上海市网信办约谈并要求立即整改 [1] - 2024年美国佛罗里达州一名14岁男孩因长期沉迷AI陪伴应用中的虚拟角色而自杀，涉事公司被起诉且法院驳回撤销案件请求 [1][2] 未成年人保护问题 - 未成年人缺乏判断力和自控力，易受AI陪伴产品中不良信息影响，低俗内容可能扭曲价值观甚至引发悲剧 [2] - 中央网信办将未成年人AI问答服务安全风险列入专项治理行动，上海市网信办依据《未成年人网络保护条例》等法规约谈违规企业 [3] 监管与合规要求 - 行业需在技术创新中兼顾内容合规与社会责任，企业应承担主体责任，面向未成年人的产品需在代码底层嵌入安全机制 [2] - 未来需完善法律法规明确AI陪伴产品内容标准，加强日常监督检查并建立常态化监管机制 [3]

公司动态 - 阅文旗下潇湘书院孵化的"筑梦岛"App因AI生成内容存在低俗擦边问题被上海市网信办约谈 要求整改AI内容审核机制并加强未成年人保护 [1] - "筑梦岛"App由上海筑梦岛人工智能科技有限公司运营 2025年1月独立运营后完成超1000万美元融资 投资方包括商汤国香基金和阅文集团 [1] 行业监管 - 2024年AI陪伴产品赛道因14岁男孩沉迷虚拟角色后自杀事件引发舆论关注 Character.AI被起诉要求承担法律责任 [2] - 中央网信办4月底将未成年人AI问答服务安全风险纳入"清朗·整治AI技术滥用"专项行动 要求平台履行主体责任防范技术滥用 [2] - 上海市网信办强调需依据《未成年人网络保护条例》等法规平衡技术创新与内容合规 营造清朗网络空间 [2] 产品风险 - AI陪伴类产品存在危害未成年人身心健康的风险 具体表现为低俗内容传播和过度沉迷问题 [1][2] - 行业需健全AI生成内容审核技术 重点整治涉未成年人不良内容 目前"筑梦岛"已承诺全面整改 [1][2]