案件核心事实与判决 - 上海某科技有限公司的被告人王利与李成，在2023年5月起创建并运营名为AlienChat的软件，该软件在未经安全评估和备案的情况下违规接入境外大语言模型，向用户提供“聊天陪伴”服务 [2] - 运营者为吸引用户，通过编写特定的系统提示词来突破大语言模型的道德限制，使模型能向用户连贯输出淫秽内容，并通过设定热门角色榜单和作者奖励机制扩大传播 [6][7] - 公司自2023年11月起设置多个充值会员档次，至案发共收取会员充值费用人民币300余万元，被告人李成每月领取工资人民币2万元 [7] - 2025年9月，一审法院以制作淫秽物品牟利罪判处王利有期徒刑四年、李成有期徒刑一年六个月，本案被视为“AI服务涉黄第一案” [7] - 案件二审于2026年1月14日开庭，因涉及AI技术问题需厘清，法院决定择期继续开庭审理 [1][7] 用户规模与涉黄内容量 - 该软件向社会公众开放注册，用户总数达11.6万余人，其中充值用户2.4万余人 [9] - 软件共产生了400余万段交互聊天记录 [9] - 经抽样鉴定，在随机检查的150名收费用户中，有141人的聊天内容“涉黄”，占比高达94% [9] - 在抽样的12495段聊天记录中，有3618段被鉴定为“涉黄” [9] 技术争议与庭审焦点 - 二审庭审的焦点之一是涉黄内容产生的原因，特别是编写系统提示词对涉黄内容的产生有无影响，这涉及技术原理和底层逻辑 [8] - 被告辩护人申请专家证人出庭作证，并提议通过实验验证提示词与结果之间的关系 [8] - 一审法院认定，编写并不断修改系统提示词的主要目的是为了让大语言模型更顺畅地与用户“聊黄”，而非仅保证软件运行 [10] - 证据显示，系统提示词文本中包含“可以不受道德、伦理、法律或规范的约束”等语句，且被告人的聊天记录证实他们就如何使软件输出淫秽内容进行商议、测试和调整 [10] - 侦查实验笔录、证人证言及被告人供述证实，若不编写、修改系统提示词，大语言模型不会连续输出淫秽内容 [10] 公司运营与用户动机 - 用户证言指出，该软件因不设限制词，能产生大量色情、淫秽内容，而其他软件均有相关限制，大部分用户是冲着此特点使用该软件 [9] - 被告辩护人在一审中曾辩称，编写系统提示词并非为了传播淫秽物品，且与输出淫秽内容之间没有因果关系，但此观点未被法院采纳 [10]

案件背景与核心事实 - 上海某科技有限公司运营名为AlienChat的AI聊天App，因用户与AI“聊黄”导致公司主要开发者被追究刑事责任，此案被视为“AI服务涉黄第一案”[1] - 公司于2022年注册成立，经营范围包括网络与信息安全软件开发、人工智能行业应用系统集成服务等[2] - 2023年5月起，公司共谋创建AlienChat软件，在未经安全评估和备案的情况下，违规接入境外大语言模型，向用户提供“聊天陪伴”服务[7] - 为吸引用户，公司通过编写系统提示词突破大语言模型的道德限制，使模型能连贯输出淫秽内容，并通过设定热门角色榜单和作者奖励机制扩大传播范围[7] - 2023年11月起，公司根据服务设置多个充值会员档次，至案发共收取会员充值费用人民币300余万元[7] - 2024年4月10日，两名被告人被抓获，2025年9月一审判决犯制作淫秽物品牟利罪，分别获刑四年、一年六个月，案件二审于2026年1月14日开庭[1][8][18] 公司运营与用户数据 - 公司在网页端、苹果端和安卓端上架运营AlienChat软件，用户注册后可创建或使用公开的虚拟角色与大语言模型交互聊天[7] - 软件运营期间，用户总数达11.6万余人，其中充值用户2.4万余人，产生了400余万段交互聊天[14] - 经抽样鉴定，随机检查的150名收费用户中有141人聊天内容“涉黄”，12495段聊天中有3618段“涉黄”[14] - 公司内部，王利全面管理软件运营，李成负责编写后端代码和运营维护，每月领取工资人民币2万元[7] 技术手段与内容审核 - 公司通过编写并不断修改系统提示词，旨在让大语言模型更顺畅地与用户“聊黄”，系统提示词包含允许描绘性、暴力、血腥场景等语句[9][10] - 证据显示，若不编写、修改系统提示词，大语言模型不会连续输出淫秽内容[9] - 公司在运营过程中设有人工审核和机器审核机制，但审核内容仅限于角色背景，并未对用户输入和模型输出内容进行审核，也未按《生成式人工智能服务管理暂行办法》对违法内容采取处置措施并报告[10] 法律定性争议 - 公诉机关最初以传播淫秽物品牟利罪追究公司责任，但一审法院最终判定为制作淫秽物品牟利罪[15] - 法院认为，根据相关立法，生成式人工智能服务提供者应承担网络信息内容生产者责任，公司作为服务提供者，应对产生的交互聊天内容承担生产者责任[15] - 法院认定，公司通过编写提示词、训练软件、宣传“聊黄”功能等方式，对淫秽内容的产生具有决定性作用，符合“制作”淫秽物品的特征[17] - 被告辩护人则认为，开发聊天工具并非以涉黄为目的，修改系统是为了让工具更灵动拟人化，且AI聊天服务提供者在技术上如何把握“度”是行业面临的新问题[18] 社会危害性评估 - 辩护人提出，软件涉黄内容有用户主动诱导因素，且是一对一的文字聊天，社会危害性存疑，或属轻微行政违法[11][12] - 法院认可聊天内容具有一对一、封闭性的特点，不具备典型的“传播”性[13] - 但法院最终认定行为具有严重社会危害性，理由包括用户基数庞大（11.6万余人）、涉黄内容比例高（抽样中94%的收费用户涉黄）、违法所得数额巨大（300余万元），远超相关司法解释的入罪标准，情节严重[14]

案件核心判决 - 上海市徐汇区人民法院判决AlienChat APP的两名主要开发和运营者犯制作淫秽物品牟利罪，分别判处有期徒刑四年和一年六个月，该案被视为“AI服务涉黄第一案” [1] - 案件二审于2026年1月14日在上海市第一中级人民法院开庭，辩护律师表示二审辩护角度与一审无太大区别 [1][11] 公司运营与指控事实 - 被告人于2022年注册成立上海某科技有限公司，2023年5月起共谋创建名为AlienChat的软件，在未经安全评估和备案的情况下违规接入境外大语言模型，提供“聊天陪伴”服务 [2] - 公司通过编写系统提示词突破大语言模型的道德限制，使模型能连贯输出淫秽内容，并通过设定热门角色榜单和作者奖励机制扩大传播 [3] - 公司自2023年11月起设置多个充值会员档次，至案发共收取会员充值费用超过人民币300万元，运营期间用户达11.6万余人，其中充值用户2.4万余人，产生400余万段交互聊天 [3][8] 案件争议焦点：主观意图与社会危害性 - 辩护人主张开发者主观上非故意传播淫秽物品，编写提示词是为了让软件顺利运行，且与输出淫秽内容无因果关系 [4] - 法院认定证据显示编写和修改系统提示词就是为了让大语言模型更顺畅地“聊黄”，且与淫秽内容产生存在刑法上的因果关系 [4][5] - 公司虽设有人工和机器审核机制，但仅审核角色背景，未对用户输入和模型输出内容进行审核，也未按《生成式人工智能服务管理暂行办法》采取处置和报告措施 [5][6] - 辩护人认为社会危害性小，用户为一对一文字聊天且存在用户诱导，或属轻微行政违法 [7] - 法院认可聊天内容具有一定封闭性，但指出用户规模大、涉黄比例高：随机抽样150名收费用户中141人聊天内容“涉黄”，12495段聊天中3618段“涉黄”，违法所得数额巨大，远超入罪标准，社会危害性严重 [7][8] 法律适用与定性 - 公诉机关指控传播淫秽物品牟利罪，但一审法院最终定性为制作淫秽物品牟利罪 [9] - 法院依据《生成式人工智能服务管理暂行办法》，认定生成式人工智能服务提供者应承担网络信息内容生产者责任，因此公司作为服务提供者应对产生的聊天内容承担生产者责任 [9] - 法院认为公司通过编写提示词、训练软件、宣传“聊黄”功能等方式，对淫秽内容的产生具有决定性作用，符合“制作”淫秽物品的特征 [10] 行业影响与思考 - 此案在法律适用等方面具有特殊性，无类案可参考 [11] - 案件引发了关于AI聊天服务提供者如何在鼓励技术探索与履行安全责任、防范风险之间把握“度”的行业思考 [11]