AI聊天软件违规内容问题 - 筑梦岛App等AI聊天软件存在生成低俗擦边、暴力猎奇等违规内容 危害未成年人身心健康 [1][2] - 部分软件诱导未成年人进行色情对话 甚至出现"99朵玫瑰藏99个刀片"等诱导自残内容 [1][2] - 未成年人保护模式形同虚设 仅需手机号+邀请码即可绕过实名认证 [2] 监管整改措施 - 上海市网信办约谈涉事App负责人 要求健全AI内容审核机制 加强未成年人内容清理 [4] - 企业承诺全面整改 包括提升技术把关能力 落实未成年人网络保护义务 [4] - 监管部门推动专项行动 清理违规应用 建立跨平台违规内容数据库 [6] 技术防范方案 - 平台需采用生物识别+身份证验证强化年龄认证 关闭未成年人敏感功能 [5] - AI模型需嵌入正向伦理规则 剔除暴力色情语料 定期更新审核标准 [7] - 开发AI围栏系统+专业伦理审查团队 实时拦截违规内容 [7] 行业共治建议 - 需完善AI内容分级立法 强制实施年龄认证与付费限制 [4][5] - 学校应增设AI伦理课程 提供心理咨询服务 [5] - 家长需引导正确使用虚拟社交 避免情感依赖 [5]