AI服务涉黄第一案三大焦点:开发者获刑背后的法律适用等
南方都市报·2026-01-14 14:52

案件核心判决 - 上海市徐汇区人民法院判决AlienChat APP的两名主要开发和运营者犯制作淫秽物品牟利罪,分别判处有期徒刑四年和一年六个月,该案被视为“AI服务涉黄第一案” [1] - 案件二审于2026年1月14日在上海市第一中级人民法院开庭,辩护律师表示二审辩护角度与一审无太大区别 [1][11] 公司运营与指控事实 - 被告人于2022年注册成立上海某科技有限公司,2023年5月起共谋创建名为AlienChat的软件,在未经安全评估和备案的情况下违规接入境外大语言模型,提供“聊天陪伴”服务 [2] - 公司通过编写系统提示词突破大语言模型的道德限制,使模型能连贯输出淫秽内容,并通过设定热门角色榜单和作者奖励机制扩大传播 [3] - 公司自2023年11月起设置多个充值会员档次,至案发共收取会员充值费用超过人民币300万元,运营期间用户达11.6万余人,其中充值用户2.4万余人,产生400余万段交互聊天 [3][8] 案件争议焦点:主观意图与社会危害性 - 辩护人主张开发者主观上非故意传播淫秽物品,编写提示词是为了让软件顺利运行,且与输出淫秽内容无因果关系 [4] - 法院认定证据显示编写和修改系统提示词就是为了让大语言模型更顺畅地“聊黄”,且与淫秽内容产生存在刑法上的因果关系 [4][5] - 公司虽设有人工和机器审核机制,但仅审核角色背景,未对用户输入和模型输出内容进行审核,也未按《生成式人工智能服务管理暂行办法》采取处置和报告措施 [5][6] - 辩护人认为社会危害性小,用户为一对一文字聊天且存在用户诱导,或属轻微行政违法 [7] - 法院认可聊天内容具有一定封闭性,但指出用户规模大、涉黄比例高:随机抽样150名收费用户中141人聊天内容“涉黄”,12495段聊天中3618段“涉黄”,违法所得数额巨大,远超入罪标准,社会危害性严重 [7][8] 法律适用与定性 - 公诉机关指控传播淫秽物品牟利罪,但一审法院最终定性为制作淫秽物品牟利罪 [9] - 法院依据《生成式人工智能服务管理暂行办法》,认定生成式人工智能服务提供者应承担网络信息内容生产者责任,因此公司作为服务提供者应对产生的聊天内容承担生产者责任 [9] - 法院认为公司通过编写提示词、训练软件、宣传“聊黄”功能等方式,对淫秽内容的产生具有决定性作用,符合“制作”淫秽物品的特征 [10] 行业影响与思考 - 此案在法律适用等方面具有特殊性,无类案可参考 [11] - 案件引发了关于AI聊天服务提供者如何在鼓励技术探索与履行安全责任、防范风险之间把握“度”的行业思考 [11]