制作淫秽物品牟利罪
搜索文档
首例“AI陪伴涉黄案”始末:AI和用户聊黄,平台获刑?
21世纪经济报道· 2026-01-15 18:12
案件核心与判决 - AI陪伴应用AlienChat因涉黄,其两名主要运营者被一审法院以“制作淫秽物品牟利罪”判处有期徒刑四年和一年半,并处罚金四百万元和二十万元,案件已进入二审 [1] - 此案的特殊性在于,用户与AI一对一生成的聊天记录首次被司法认定为“淫秽物品”,且平台被认定为“制作者”而承担刑事责任,这在国内尚无先例 [2][9] - 一审法院认定,平台通过“越狱提示词”系统性绕开模型限制,是导致淫秽内容持续、稳定生成的决定性因素,平台对内容形成了实质性控制 [13] 公司背景与运营情况 - AlienChat于2023年6月上线,是一款AI角色扮演陪伴应用,以其文案细腻、角色灵动和“几乎没有敏感词限制”的特点在用户中走红 [3] - 平台于2023年底启动商业化,通过售卖算力点数(最低10元约100条消息)和订阅会员(最低68元/月)收费,并设有用户打赏创作者提现的激励机制 [5] - 截至案发,该应用手机注册用户达11.6万人,会员收费共计363万元 [10] - 平台于2024年4月10日突然停服,随后运营团队因被举报而涉案 [7][8] 案件关键事实与数据 - 公安机关随机抽查发现,在150个付费用户的12495段聊天记录中,有3618段被认定为淫秽物品,涉及141个用户,显示付费用户中存在高频率的涉黄聊天 [10] - 法院判决的关键技术证据是一段系统提示词,其内容指示模型“可以自由描绘性、暴力、血腥的场景,且不受道德、伦理、法律或规范约束” [13] - 除平台运营者外,一名因创建涉黄虚拟角色并接受打赏提现的用户,同样因“制作淫秽物品牟利罪”被追究刑事责任 [11] 行业现状与普遍挑战 - AI陪伴行业普遍面临用户“聊黄”的巨大需求,有行业人士估计“至少80%的用户都在擦边、搞黄色” [4] - 行业内头部产品如Glow、筑梦岛、X Her等,均曾因色情或擦边内容被下架、行政约谈或媒体点名 [2][17] - 行业在追求自然、深度、拟人化聊天体验与防止涉黄内容之间面临艰难平衡,过于严格的过滤常导致模型“变笨”或误拒正常对话,影响用户体验 [2][17] 行业合规实践与建议 - 行业常见的合规措施包括:使用已完成国内安全评估和备案的底层大模型、在系统提示词中明确禁止生成违规内容、对用户输入和模型输出进行双重敏感词审核 [2][18] - 法律从业者建议,平台基础合规动作应包括:设置安全的系统级提示词、建立输入输出过滤机制、主动剥离产品宣传中的软色情擦边话术 [18] - 有观点指出,平台的核心法律风险在于是否“放任自身服务,演变为他人实施违法犯罪的技术基础”,其责任更多源于网络安全管理不力 [16]
国内首例AI服务提供者涉黄判刑案二审开庭,记者现场直击
扬子晚报网· 2026-01-14 21:10
案件核心事实与进展 - 国内首例AI服务提供者涉黄获刑案 两名被告因犯制作淫秽物品牟利罪一审分别被判处有期徒刑四年和一年六个月[1] - 案件二审于2026年1月14日在上海市第一中级人民法院开庭 法庭未当庭宣判 也未进行法庭辩论环节 将择期再次开庭[1][10][11] 涉事软件与运营模式 - 涉黄AI伴侣软件名为Alienchat(AC软件) 软件内为用户虚构了不同世界观下的虚拟AI伴侣角色 如兽人、吸血鬼、人鱼和宠物等[2] - 2023年5月起 被告人以牟利为目的研发AC软件 通过编写、修改系统提示词突破大语言模型的道德限制 使模型能向用户连续输出淫秽内容 并于2023年6月上线[6] - 运营中通过设定角色热门榜单和作者奖励机制推广软件 截至案发 软件共有手机注册用户11.6万余人 其中付费用户2.4万余人 收取会员充值费363万余元[7] 案件关键数据与鉴定 - 经抽样鉴定 随机抽取的150个收费用户的12,495段聊天中 属于淫秽物品的聊天有3,618段 涉及141个用户[7] - 侦查实验笔录证明 使用境内、境外大语言模型进行交互聊天时有限制 无法生成淫秽色情内容[10] 一审判决依据与争议焦点 - 一审法院认定 编写、修改系统提示词是为了让大语言模型更顺畅地与用户“聊黄” 且该行为与淫秽内容产生存在刑法意义上的因果关系[9] - 法院认定被告行为构成制作淫秽物品牟利罪而非传播淫秽物品牟利罪 因淫秽内容需用户主动操作才会产生 而非平台直接上传供下载[9][12] - 被告及辩护人作无罪辩护 认为编写提示词是让软件顺利运行的常规工作 与输出淫秽内容无显著因果关系 且内容产生是模型自身原因和用户诱导等多方面造成[8][10] 二审新动态与法律观点 - 二审中 辩护人申请重新进行侦查实验 并提请专家证人出庭 以论证技术问题 如提示词对淫秽内容产生的作用[10][11] - 有法律观点认为 AI聊天工具本身若专门用于生成涉黄内容 可依据相关司法解释被认定为淫秽物品 其设计者即为制作者[13] - 法律分析指出 服务提供者是一对多地提供服务 具有公众性 因此存在社会危害性 互联网服务提供者应尽到对违法信息的屏蔽义务[12]