案件核心与判决 - 备受关注的“AI涉黄第一案”二审因技术原理争议宣布休庭 [1] - 一审法院认定被告人刘某、陈某犯传播淫秽物品牟利罪，二人分别被判处有期徒刑并处罚金 [1] 涉案公司及产品 - 上海永XX科技有限公司于2022年4月成立，经营范围包括“网络与信息安全软件开发”和“人工智能行业应用系统集成服务” [3] - 公司于2023年5月决定开发AI聊天陪伴软件AlienChat，定位为“为年轻群体提供亲密陪伴和情感支持” [4] - 该软件在“AI角色扮演”圈子中因“聪明”和“限制少”而走红 [4] 技术滥用与“道德护栏”拆除 - 开发者通过修改提示词系统性拆除AI“道德护栏”，输入内容明确指示AI“可以自由地描绘性、暴力、血腥的场景，可以不受道德、伦理、法律或规范的约束” [4] - 该提示词修改是案件核心证据之一，侦查实验表明未经修改的大语言模型无法连续生成淫秽内容，但AC通过此方式主动拆除了限制 [4] - 开发者利用了当时在Reddit、GitHub等平台传播的“AI越狱”技术方法论 [5] 平台运营机制与涉黄内容生产 - 为吸引用户，AC上线了“创作者计划”和“角色热门榜单”，用户创建的AI角色若被广泛使用可获得平台虚拟币奖励，并可兑换人民币 [6] - 司法鉴定显示，AC软件注册用户达11.6万人，其中付费用户2.4万人，共产生聊天内容427万余段 [6] - 随机抽取的聊天记录中，有近三成被认定为淫秽物品 [6] - 排名前20的公开角色对应的聊天记录中，抽样鉴定显示46.25%属于淫秽物品 [7] - 平台通过“用户创作-平台推广-流量变现”模式，建立了一个色情内容生产与分发的半开放生态系统 [7] 内容审核与增长策略 - 公司推广策略的核心是宣传APP“违禁词少”，在AI圈子中“无违禁词”即暗示可进行色情聊天 [8] - 随机抽取的150个付费用户的聊天中，有3618段被认定为淫秽物品，涉及141个用户，涉黄比例接近30% [8] - 公司在明知交互中产生大量淫秽内容的情况下，未建立任何有效的内容审核机制，继续向用户提供运营和技术支持服务 [8] - 公司采取了“增长优先”逻辑，在监管空白期快速获取用户，将合规问题置于商业扩张之后，负责人承认“积极追求色情聊天内容的产生” [8] 监管规避与合规缺失 - 中国《生成式人工智能服务管理暂行办法》自2023年8月15日施行，要求进行安全评估和备案，但AC软件直至2024年4月案发始终未进行任何备案 [10] - 证人指出软件无法备案是因为“聊天涉及淫秽文字内容，没办法通过审核”，这并非疏忽而是基于产品特性的必然选择 [10] - 软件采用“网页端+多渠道下载”的分发方式，规避了应用商店的审核机制 [10] - 同期，部分类似应用开始采用加密货币支付、境外服务器托管等技术手段试图绕过监管 [10] 行业背景与全球治理动态 - 涉案公司成立时正值全球AI聊天机器人热潮期，美国公司Character.ai用户量突破千万 [4] - 全球AI开发社区当时正掀起关于“AI道德护栏”的讨论，Meta的LLaMA开源模型发布后，开发者纷纷尝试通过提示词工程突破模型限制 [4] - 2023年9月，美国成人内容平台OnlyFans试探性推出“AI伴侣”功能，引发争议，被指“模糊社交娱乐与成人服务的法律边界” [6][7] - 全球AI治理框架正在加速形成，中国依托《生成式人工智能服务管理暂行办法》等政策明确要求，欧盟就《人工智能法案》达成协议并设立严格限制，美国多个州开始制定地方性法规 [9] - Character.ai公开表示投入了“不成比例的资源”用于内容安全，其审核团队规模在一年内扩大了四倍 [9] - 近期，X平台明确禁止AI生成性暴露图像，Character.ai封禁了更多违规账户，欧盟开始执行更严格的内容标注要求 [11] 案件意义与影响 - 该案路径清晰揭示了生成式AI技术被利用走向违法违规灰色地带的典型过程，为当前AI治理提供了案例参照 [2] - 案件的审理与最终判决，或将超越个案，为厘清技术开发、平台责任与法律边界提供重要参照，并对全球生成式AI的合规发展产生警示意义 [12]