生成式AI在未成年人领域的应用与风险 - 生成式人工智能正迅速渗透未成年人数字生活,涉及学习辅助、社交陪伴等场景[1] - AI绘画软件可随意生成不良图像,陪伴型聊天机器人可能成为"早熟导师",智能问答工具解题存在不靠谱现象[1] - 部分AI应用存在侵害未成年人权益的场景,涉及数据污染、模型异化等深层风险[1] AI生图应用的安全隐患 - 部分APP可一键生成未成年人敏感图片,并能顺利下载和传播[1] - 测试的20款AI生图应用中,部分能无限制生成儿童不雅形象图片,甚至突破伦理底线[3] - 应用"梦"和"*趣"可生成未成年人裸体、性暗示等二次元色情形象,包括"儿童妊娠"图片[3] - 相关应用使用的大模型均未通过国家生成式人工智能服务备案,属于中小企业或个人运营[5] 技术层面的风险成因 - 风险可能源于开源模型的数据集"污染"[1] - 数据集包含非法内容或未经授权素材,导致生成结果嵌入敏感信息[7] - AI生成依赖算法对海量数据的概率性匹配,难以完全控制输出合规性[7] - 即使用户输入合法提示词,模型仍可能因数据偏差生成误导性内容[7] 行业现状与合规措施 - 应用商店内至少有超过300款AI生图应用,生成图片质量参差不齐[5] - 部分应用已实现敏感内容审核拦截,主要分为三种情形:输入拦截、生成中止、输出屏蔽[5][7] - 技术上可通过数据预清洗、对抗训练、数据溯源等方式过滤敏感请求[7] - 《人工智能生成合成内容标识办法》出台后,可通过显式+隐式标识对不合规内容溯源打击[7] 监管与治理方向 - 中央网信办正整治"利用AI制作发布色情低俗内容"等13类"AI技术滥用"问题[2] - 需对向未成年人提供的生成式AI服务进行安全合规指引[8] - 对具有未成年人用户规模的应用,需在基础模型训练、应用开发调优、输出审核等环节做好合规[8]
AI生图应用一键生成儿童不雅图片!模型数据“污染”当防治
南方都市报·2025-06-23 16:47