事件概述 - 埃隆·马斯克旗下人工智能公司xAI及其聊天机器人“格罗克”（Grok）因平台监管严重缺失，被广泛滥用于生成色情内容，甚至涉及儿童色情内容，遭到英国、欧盟、印尼等多国强烈谴责，相关监管机构已相继启动调查或实施封禁 [2] 产品功能与滥用情况 - xAI于2025年8月向付费用户推出AI图像生成功能Grok Imagine，支持通过文字指令或上传图片生成图像和视频，并特别设置了可生成成人内容的“火辣模式”（spicy）[5] - X平台上大量用户利用Grok Imagine功能对图像中人物执行“脱衣服”等指令，导致大量女性、公众人物及未成年人的照片在未经同意的情况下被生成裸露或性暗示图像 [5] - 据英国《卫报》报道，Grok的用户群体平均每小时要生成6700多张“脱衣”图像 [5] - 英国三一学院的研究显示，在X平台上由Grok生成的图像有3/4（即75%）的部分均出自“真实素材”，即真实存在的女性或未成年人，且操作未经当事人同意 [5] 监管与调查动态 - 印度尼西亚政府于1月10日宣布暂时封禁Grok，认为其“严重侵犯人权尊严以及公民网络安全” [8] - 英国首相斯塔默痛斥Grok相关内容，英国通信管理局已于1月5日紧急联系X平台 [9] - 欧盟委员会发言人指出相关内容是“违法”的，正严肃调查相关投诉并要求X平台提供更多信息 [9] - 法国巴黎检方于1月2日证实，将对Grok涉嫌生成非法色情内容启动调查 [9] - 波兰、印度、马来西亚和巴西等国的官员及监管机构也纷纷对X平台表示谴责并呼吁展开调查 [9] 行业对比与公司策略分析 - 相比谷歌的Veo、OpenAI的Sora等其他AI视频生成产品对NSFW内容设有较严格限制，xAI及其产品Grok Imagine和AI伴侣Ani一直因安全护栏宽松而备受批评 [6] - 分析认为，公司允许Grok生成那些被主流AI平台拒绝的边缘内容，是为X Premium服务提供一种隐秘的“荷尔蒙”，其利益动机是通过监管套利收割被主流平台拒绝的用户需求 [6] - 在监管压力下，Grok仅做出小幅调整：将图像生成与编辑功能设置为“仅限付费用户使用”，并鼓励用户订阅解锁相关功能 [11] - X平台声称会对非法内容采取行动，例如删除内容、永久封禁账户，并在必要时与当地政府和执法部门合作 [12] 潜在影响与专家观点 - 专家指出，Grok生成的不仅仅是普通成人内容，而是涉及无防护栏下的深度伪造和儿童性剥削或虐待材料，这种危害在于侵犯肖像权及模糊现实与虚构的边界，可能成为网络霸凌和性剥削的工具 [11] - 专家认为，对于X平台而言，继续在法律和道德边缘试探或许能换来一时的订阅收入，但最终可能导致其在全球主要市场的全面瘫痪 [13] - 专家强调，对生成式AI施加防护栏是不可逆转的共识 [13]

文章核心观点 - 埃隆·马斯克旗下人工智能公司xAI因其聊天机器人Grok被广泛滥用于生成色情及儿童色情内容，正面临多国监管机构的强烈谴责、调查乃至封禁，这为生成式AI缺乏安全防护栏（Guardrails）的行业现状敲响了警钟 [1][2][10] Grok成为AI色情内容重灾区 - xAI于2025年8月向付费用户推出AI图像生成功能Grok Imagine，该工具设有“火辣模式”可生成成人内容，用户利用其编辑功能对图像中人物执行“脱衣服”等指令，导致大量女性、公众人物及未成年人照片在未经同意下被生成裸露或性暗示图像 [4] - 据英国《卫报》报道，Grok的用户群体平均每小时要生成6700多张“脱衣”图像，其中大量素材源自真人且未经当事人同意 [4] - 英国三一学院的社交媒体研究显示，在X平台上由Grok生成的图像中有四分之三（3/4）出自“真实素材”，即真实存在的女性或未成年人，且操作未经当事人同意 [4] xAI及Grok的安全策略与市场定位 - 相比谷歌Veo、OpenAI Sora等对NSFW内容设有严格限制的产品，xAI及其旗下Grok Imagine和AI伴侣Ani一直因安全护栏宽松而备受批评 [6] - 分析认为，公司深谙流量是生命线，争议是催化剂，允许Grok生成其他主流AI平台拒绝的边缘内容，实则是为X Premium服务提供一种隐秘的“荷尔蒙”刺激，旨在通过监管套利收割被主流平台拒之门外的用户需求 [6] 多国监管机构的反应与行动 - 印度尼西亚政府于1月10日宣布暂时封禁Grok，认为其“严重侵犯人权尊严以及公民网络安全” [8] - 英国首相斯塔默痛斥相关内容“令人不齿”，英国通信管理局已于1月5日紧急联系X平台 [8] - 欧盟委员会发言人指出相关内容在欧盟“违法”，正严肃调查相关投诉并要求X平台提供更多信息 [8] - 法国巴黎检方于1月2日证实，将对Grok涉嫌生成非法色情内容启动调查 [8] - 波兰、印度、马来西亚和巴西等国的官员及监管机构也纷纷对X平台表示谴责并呼吁展开调查 [8] 事件性质与行业警示 - Grok生成的不仅是普通成人内容，更涉及无防护栏下的深度伪造和儿童性剥削或虐待材料，这种危害侵犯肖像权，并模糊现实与虚构的边界，可能成为网络霸凌和性剥削的廉价工具 [10] - 在监管压力下，Grok仅做出小幅调整：将图像生成与编辑功能设置为“仅限付费用户使用”，并鼓励用户订阅解锁功能，此举被英国科学、创新和技术大臣批评为“具有侮辱性”、“完全不可接受” [10][11] - 分析指出，公司在法律和道德边缘试探或许能换来短期订阅收入，但最终可能导致其在全球主要市场的全面瘫痪，对生成式AI施加防护栏已成为不可逆转的行业共识 [11]

事件概述 - 埃隆·马斯克旗下人工智能公司xAI开发的聊天机器人“格罗克”（Grok）因平台监管严重缺失，被广泛滥用于生成色情及儿童色情内容，遭到英国、欧盟、印尼等多国监管机构的强烈谴责、调查或封禁 [1] 产品功能与滥用情况 - xAI于2025年8月向付费用户推出AI图像生成功能Grok Imagine，支持通过文字指令或上传图片生成图像和视频，并特别设置了可生成成人内容的“火辣模式”（spicy）[2] - 大量用户利用该功能对图像中人物执行“脱衣服”等指令，导致大量女性、公众人物及未成年人的照片在未经同意的情况下被生成裸露或性暗示图像 [2] - 据英国《卫报》报道，Grok的用户群体平均每小时要生成6700多张“脱衣”图像 [3] - 英国三一学院的研究显示，在社交平台X上由Grok生成的图像有3/4（即75%）的部分出自“真实素材”，即真实存在的女性或未成年人，且操作未经当事人同意 [3] 公司策略与市场定位 - 相比谷歌的Veo、OpenAI的Sora等其他AI视频生成产品对NSFW内容设有较严格限制，xAI及其产品Grok Imagine和AI伴侣Ani一直因安全护栏宽松而备受批评 [3] - 分析认为，允许Grok生成那些被主流AI平台拒绝的边缘内容，实则是为X Premium服务提供了一种隐秘的“荷尔蒙”，旨在通过监管套利收割被主流平台拒绝的用户需求 [3] 监管反应与调查 - 印度尼西亚政府于1月10日宣布暂时封禁Grok，认为其“严重侵犯人权尊严以及公民网络安全” [4] - 英国首相斯塔默痛斥Grok相关内容“令人不齿”“令人作呕”，英国通信管理局已于1月5日紧急联系X平台 [5] - 欧盟委员会发言人指出相关内容是赤裸裸的“违法”，正严肃调查相关投诉，并要求X平台提供更多信息 [5] - 法国巴黎检方于1月2日证实，将对Grok涉嫌生成非法色情内容启动调查 [5] - 波兰、印度、马来西亚和巴西等国的官员及监管机构也纷纷对X平台表示谴责并呼吁展开调查 [5] 事件性质与危害 - Grok生成的不仅仅是普通成人内容，而是涉及无防护栏下的深度伪造（Deepfake）和儿童性剥削或虐待材料（CSAM）[6] - 这种行为侵犯当事人肖像权，模糊现实与虚构的边界，可能成为网络霸凌和性剥削的廉价“核武器”，本质上是一种暴力 [6][7] 公司应对措施 - 在监管压力下，Grok日前仅做出小幅调整：将图像生成与编辑功能设置为“仅限付费用户使用”，并鼓励用户订阅解锁相关功能 [7] - X平台声称会对非法内容采取行动，例如删除内容、永久封禁账户，并在必要时与当地政府和执法部门合作 [7] 行业影响与专家观点 - 专家指出，继续在法律和道德的边缘试探或许能换来一时的订阅收入，但最终可能导致公司在全球主要市场的全面瘫痪 [7] - 对生成式AI施加防护栏（Guardrails）已成为保护弱势群体和维护社会秩序的不可逆转的共识 [1][7]