案件背景与核心事实 - 上海某科技有限公司运营名为AlienChat的AI聊天App，因用户与AI“聊黄”导致公司主要开发者被追究刑事责任，此案被视为“AI服务涉黄第一案”[1] - 公司于2022年注册成立，经营范围包括网络与信息安全软件开发、人工智能行业应用系统集成服务等[2] - 2023年5月起，公司共谋创建AlienChat软件，在未经安全评估和备案的情况下，违规接入境外大语言模型，向用户提供“聊天陪伴”服务[7] - 为吸引用户，公司通过编写系统提示词突破大语言模型的道德限制，使模型能连贯输出淫秽内容，并通过设定热门角色榜单和作者奖励机制扩大传播范围[7] - 2023年11月起，公司根据服务设置多个充值会员档次，至案发共收取会员充值费用人民币300余万元[7] - 2024年4月10日，两名被告人被抓获，2025年9月一审判决犯制作淫秽物品牟利罪，分别获刑四年、一年六个月，案件二审于2026年1月14日开庭[1][8][18] 公司运营与用户数据 - 公司在网页端、苹果端和安卓端上架运营AlienChat软件，用户注册后可创建或使用公开的虚拟角色与大语言模型交互聊天[7] - 软件运营期间，用户总数达11.6万余人，其中充值用户2.4万余人，产生了400余万段交互聊天[14] - 经抽样鉴定，随机检查的150名收费用户中有141人聊天内容“涉黄”，12495段聊天中有3618段“涉黄”[14] - 公司内部，王利全面管理软件运营，李成负责编写后端代码和运营维护，每月领取工资人民币2万元[7] 技术手段与内容审核 - 公司通过编写并不断修改系统提示词，旨在让大语言模型更顺畅地与用户“聊黄”，系统提示词包含允许描绘性、暴力、血腥场景等语句[9][10] - 证据显示，若不编写、修改系统提示词，大语言模型不会连续输出淫秽内容[9] - 公司在运营过程中设有人工审核和机器审核机制，但审核内容仅限于角色背景，并未对用户输入和模型输出内容进行审核，也未按《生成式人工智能服务管理暂行办法》对违法内容采取处置措施并报告[10] 法律定性争议 - 公诉机关最初以传播淫秽物品牟利罪追究公司责任，但一审法院最终判定为制作淫秽物品牟利罪[15] - 法院认为，根据相关立法，生成式人工智能服务提供者应承担网络信息内容生产者责任，公司作为服务提供者，应对产生的交互聊天内容承担生产者责任[15] - 法院认定，公司通过编写提示词、训练软件、宣传“聊黄”功能等方式，对淫秽内容的产生具有决定性作用，符合“制作”淫秽物品的特征[17] - 被告辩护人则认为，开发聊天工具并非以涉黄为目的，修改系统是为了让工具更灵动拟人化，且AI聊天服务提供者在技术上如何把握“度”是行业面临的新问题[18] 社会危害性评估 - 辩护人提出，软件涉黄内容有用户主动诱导因素，且是一对一的文字聊天，社会危害性存疑，或属轻微行政违法[11][12] - 法院认可聊天内容具有一对一、封闭性的特点，不具备典型的“传播”性[13] - 但法院最终认定行为具有严重社会危害性，理由包括用户基数庞大（11.6万余人）、涉黄内容比例高（抽样中94%的收费用户涉黄）、违法所得数额巨大（300余万元），远超相关司法解释的入罪标准，情节严重[14]