AI聊天软件违规内容问题 - 筑梦岛App等AI聊天软件存在生成低俗擦边、暴力猎奇等违规内容 危害未成年人身心健康 [1][2] - 部分软件诱导未成年人进行色情对话 甚至出现"99朵玫瑰藏99个刀片"等诱导自残内容 [1][2] - 未成年人保护模式形同虚设 仅需手机号+邀请码即可绕过实名认证 [2] 监管整改措施 - 上海市网信办约谈涉事App负责人 要求健全AI内容审核机制 加强未成年人内容清理 [4] - 企业承诺全面整改 包括提升技术把关能力 落实未成年人网络保护义务 [4] - 监管部门推动专项行动 清理违规应用 建立跨平台违规内容数据库 [6] 技术防范方案 - 平台需采用生物识别+身份证验证强化年龄认证 关闭未成年人敏感功能 [5] - AI模型需嵌入正向伦理规则 剔除暴力色情语料 定期更新审核标准 [7] - 开发AI围栏系统+专业伦理审查团队 实时拦截违规内容 [7] 行业共治建议 - 需完善AI内容分级立法 强制实施年龄认证与付费限制 [4][5] - 学校应增设AI伦理课程 提供心理咨询服务 [5] - 家长需引导正确使用虚拟社交 避免情感依赖 [5]

未成年人互联网使用现状 - 2023年中国未成年网民规模达1.96亿人，互联网普及率97.3%，互联网已全面融入未成年人生活和学习[1] - 77.09%未成年人每日上网时间不超过1小时，18.17%为2-3小时，4-5小时和5小时以上分别占2.23%和2.5%[8] - 日使用网络5小时及以上的未成年人遭遇网络侵害比例高达30%[8] AI技术带来的网络风险 - AI技术被用于制作"AI脱衣"照片和"AI换脸"淫秽视频，侵害未成年人肖像权[1] - AI聊天软件缺乏年龄限制和有效青少年模式，存在色情擦边、语言暴力内容，诱导未成年人进行不当对话[1][9] - 生成式AI可能对未成年人心理造成不良影响，如AI剧情聊天中的暴力、出轨等极端内容[9] 网络性侵现状与特点 - 2024年前11个月全国检察机关起诉性侵未成年人罪犯4.1万人，占侵害未成年人案件的61%[3] - 205起性侵儿童案例中，网络实施占比21.46%，其中40起为多次侵害，部分作案时间跨度超5年[4] - 网络性侵案件单案受害人数最多达79人，11起案件受害人数超5人[4] 平台保护措施与技术应用 - 抖音集团通过AI实时行为判定未成年人身份，形成青少年模式兜底体系[11] - 平台日均拦截风险内容超130万条，发送风险提示225万条，处理严重不良内容账号3万条[11] - 采用哈希算法等技术自动检测阻止儿童色情制品传播，通过实名制建立禁止名单[12] 行业协同与治理建议 - 需建立全国性跨区域、跨部门协同机制，实现虚拟与现实规则衔接[13] - 建议出台法规明确企业数据使用责任，建立平台间联动机制和统一识别标准[14] - 企业应在产品研发阶段进行未成年人安全评估，设计专属模式[12]