案件核心事实与判决 - 上海市徐汇区人民法院于2025年9月对AI伴侣应用“AlienChat”两名开发者作出判决，因制作淫秽物品牟利罪分别获刑四年和一年半[5] - 该案为国内首起AI服务提供者涉黄获刑案，涉案金额达363万元，应用手机注册用户为11.6万人，其中付费会员为2.4万人[6] - 案件二审定于1月14日在上海市第一中级人民法院开庭[10] AlienChat应用情况与用户行为 - AlienChat主要面向Z世代，提供亲密陪伴和情感支持，用户可通过文字或语音与自定义AI角色互动，被用户称为“全网无平替”[8] - 2024年4月初，因用户举报导致应用停运，引发用户“赛博失恋”[8] - 公安机关抽样鉴定发现，在150个收费用户的12495段聊天记录中，有141个用户的3618段被认定为淫秽物品，意味着超九成付费用户在使用该应用进行“聊黄”[9] 技术责任认定与法律边界 - 一审法院认定开发者构成“制作”淫秽物品牟利罪，关键原因在于其通过编写和修改底层系统提示词，人为突破了基础语言模型的道德约束机制[10] - 开发者输入的英文提示词包含允许“剧烈的暴力、露骨的性”等内容[10] - 开发者辩护称修改提示词的本意是使大模型更拟人化以满足情感陪伴需求，但最终触及法律边界[10] 行业商业模式与风险 - OpenAI CEO曾于去年10月发文，计划为ChatGPT推出年龄分级系统，允许为成年用户提供成人内容，旨在通过更个性化服务创造价值并跑通商业模式[12] - Character.AI以个性化和UGC特点获得用户青睐，知情人士透露其预计2025年底年化收入将达5000万美元，较此前预测的3000万美元大幅增长[13] - 行业在探索“虚拟朋友”等商业模式时，暴露出自杀引导、恶意伪造、肖像权侵犯及色情内容泛滥等巨大安全隐患[13] 全球AI涉黄问题与监管 - 海外市场面临相似争议，例如马斯克推出的Grok Imagine被大量用户用于生成深度伪造色情内容，受害者包括数百名成年女性和未成年人[15] - 研究数据显示，Grok用户平均每小时生成6700多张“脱衣”图像，其公开图片流中平均每分钟出现一张未经同意的性暗示图片[15] - 印尼政府于1月10日以打击情色内容滥用为由封禁Grok，成为全球首个封禁该平台的国家，马来西亚随后于1月11日宣布限制访问，英国政府也发出警告[15] 技术漏洞与内容审核挑战 - AlienChat开发者以一对一封闭对话为由绕开审查，Grok团队假设成人模式只会在自愿场景使用，但技术漏洞在海量用户面前会被指数级放大[16] - 当AI生成速度远超传统内容审核能力时，“先上线再治理”的模式已成灾难[17] - 2025年11月实施的《网络安全技术生成式人工智能服务安全基本要求》规定模型生成内容合格率不得低于90%，要求开发者必须对算法倾向承担实质责任[17]