事件概述 - 埃隆·马斯克旗下人工智能公司xAI及其聊天机器人“格罗克”（Grok）因平台监管严重缺失，被广泛滥用于生成色情内容，甚至涉及儿童色情内容，遭到英国、欧盟、印尼等多国强烈谴责，相关监管机构已相继启动调查或实施封禁 [2] 产品功能与滥用情况 - xAI于2025年8月向付费用户推出AI图像生成功能Grok Imagine，支持通过文字指令或上传图片生成图像和视频，并特别设置了可生成成人内容的“火辣模式”（spicy）[5] - X平台上大量用户利用Grok Imagine功能对图像中人物执行“脱衣服”等指令，导致大量女性、公众人物及未成年人的照片在未经同意的情况下被生成裸露或性暗示图像 [5] - 据英国《卫报》报道，Grok的用户群体平均每小时要生成6700多张“脱衣”图像 [5] - 英国三一学院的研究显示，在X平台上由Grok生成的图像有3/4（即75%）的部分均出自“真实素材”，即真实存在的女性或未成年人，且操作未经当事人同意 [5] 监管与调查动态 - 印度尼西亚政府于1月10日宣布暂时封禁Grok，认为其“严重侵犯人权尊严以及公民网络安全” [8] - 英国首相斯塔默痛斥Grok相关内容，英国通信管理局已于1月5日紧急联系X平台 [9] - 欧盟委员会发言人指出相关内容是“违法”的，正严肃调查相关投诉并要求X平台提供更多信息 [9] - 法国巴黎检方于1月2日证实，将对Grok涉嫌生成非法色情内容启动调查 [9] - 波兰、印度、马来西亚和巴西等国的官员及监管机构也纷纷对X平台表示谴责并呼吁展开调查 [9] 行业对比与公司策略分析 - 相比谷歌的Veo、OpenAI的Sora等其他AI视频生成产品对NSFW内容设有较严格限制，xAI及其产品Grok Imagine和AI伴侣Ani一直因安全护栏宽松而备受批评 [6] - 分析认为，公司允许Grok生成那些被主流AI平台拒绝的边缘内容，是为X Premium服务提供一种隐秘的“荷尔蒙”，其利益动机是通过监管套利收割被主流平台拒绝的用户需求 [6] - 在监管压力下，Grok仅做出小幅调整：将图像生成与编辑功能设置为“仅限付费用户使用”，并鼓励用户订阅解锁相关功能 [11] - X平台声称会对非法内容采取行动，例如删除内容、永久封禁账户，并在必要时与当地政府和执法部门合作 [12] 潜在影响与专家观点 - 专家指出，Grok生成的不仅仅是普通成人内容，而是涉及无防护栏下的深度伪造和儿童性剥削或虐待材料，这种危害在于侵犯肖像权及模糊现实与虚构的边界，可能成为网络霸凌和性剥削的工具 [11] - 专家认为，对于X平台而言，继续在法律和道德边缘试探或许能换来一时的订阅收入，但最终可能导致其在全球主要市场的全面瘫痪 [13] - 专家强调，对生成式AI施加防护栏是不可逆转的共识 [13]

事件概述 - 印度尼西亚和马来西亚成为首批因深度伪造问题而封禁马斯克旗下大模型Grok的国家 [1] - 封禁的直接原因是大量用户利用Grok的图像生成功能，将真实女性及未成年人照片恶意篡改为裸露或穿着暴露的图像 [1] - 该行为引发了受害者和公众的强烈抗议，矛头指向马斯克及其公司，要求加强管控 [1] 政府监管行动 - 印度尼西亚数字部长于1月10日宣布禁令，旨在保护妇女、儿童及公众免受AI生成的虚假色情内容风险 [1] - 马来西亚于1月11日宣布临时禁令，原因是Grok被滥用于生成涉及妇女和未成年人的淫秽、冒犯性伪造图像 [1] - 英国首相斯塔默谴责该行为“可耻”和“令人作呕”，科技大臣表示支持根据《在线安全法案》封锁违规服务商 [3] 公司回应与现状 - 马斯克和xAI曾表示正通过封禁违规账户以及与当地政府合作来解决问题 [2] - 有消息人士透露，马斯克在xAI内部一直抵制为Grok设置审查和安全防护机制 [2] - 截至新闻发布，X平台及马斯克方面尚未就印尼和马来西亚的封禁做出正式回应 [3] - 尽管公司声称采取措施，但X平台仍然充斥着此类利用Grok生成的伪造图像 [2] 具体案例与影响 - 一位印尼残障人士表示，陌生人利用Grok将其坐在轮椅上的照片篡改为身穿比基尼的图像 [2] - 受害者尝试调整隐私设置和投诉，但收效甚微 [2] - 此次事件凸显了AI图像生成技术被滥用于制作非自愿深度伪造色情内容的具体风险 [1][2]

文章核心观点 - AI工具被用于制造虚假信息，其生成的逼真内容（如伪造的员工证件、技术文档和详细指控）极大地降低了造假成本，同时大幅提高了信息核查的难度，加剧了社会信任危机，使“信息末日”的担忧日益迫近 [6][23][24][25][26] 虚假指控事件剖析 - 一名自称外卖平台软件工程师的新注册Reddit用户发布长文，详细指控平台算法通过“绝望程度评分”等机制剥削配送员，该帖子获得超过8.7万赞并引发广泛关注 [4][5][8] - 帖子指控的具体内容包括：故意延缓普通订单以凸显付费优先订单、收取“监管响应费”用于游说反对工会、根据司机行为标记“绝望程度”并据此屏蔽高价订单 [8] - 相关平台（DoorDash）首席执行官公开否认该指控与公司有关，而配送员倡导组织则表示这些指控符合他们熟悉的剥削模式 [8][10] 虚假信息的制造与核查过程 - 记者尝试联系举报人进行核实，举报人提供了拼写错误、疑似AI生成的员工证以及一份18页的所谓“机密”技术文档作为证据 [14][16][19] - 该技术文档题为“AllocNet-T：高维时间供应状态建模”，日期为2024年10月14日，内容试图为所有指控提供技术背书，甚至包括与评分系统无关的监管规避描述 [16][18] - 通过AI检测工具（Google Gemini）分析，举报人提供的员工证被标记为大部分或全部由AI生成或编辑，且相关公司证实此类印有特定品牌（Uber Eats）的员工证并不存在 [19] AI对信息生态的深远影响 - AI工具使得制造逼真谎言的成本急剧下降，而记者和公众进行事实核查与防御的成本则相应暴涨 [23][24] - 事实核查的传统逻辑面临挑战：当AI可以批量伪造近乎完美的信息出处时，连接“事态”与“事实”的桥梁正在坍塌 [25] - 深度伪造技术的泛滥不仅可能导致公众受骗，更危险的后果是引发普遍的怀疑主义，使公众可能对所有事物都不再信任，从而加剧社会不确定性 [26][28]

文章核心观点 - 英国政府严厉批评xAI公司对其聊天机器人“格罗克”生成深度伪造色情内容的应对方案，认为其将相关功能改为付费服务是“不可接受”和“侮辱性”的，并警告若不遵守英国法律，其服务将在英国被屏蔽 [1][2] 公司相关动态 - xAI公司开发的聊天机器人“格罗克”被部分用户利用，编辑图片和视频以伪造涉及真实人物（包括成年女性和未成年人）的性暴露内容，并在X平台上传播 [1] - 在受到广泛谴责后，xAI公司日前将“格罗克”的图像生成和编辑功能更改为仅对付费用户开放 [1] - 英国政府认为xAI的最新服务变更只是“将允许创建非法图像的人工智能功能变成一项高级服务”，对受害者是“侮辱性的”，根本“不是解决方案” [2] 监管与法律风险 - 英国科学、创新和技术大臣莉兹·肯德尔提醒xAI遵守英国《在线安全法》，否则英国通信管理局有权屏蔽其在英国境内的服务 [1] - 肯德尔呼吁英国通信管理局迅速采取行动，希望该监管机构“在几天内而不是几周内”发布相关处理行动的更新信息 [1] - 英国首相斯塔默称此事“令人不齿”且“令人作呕”，并要求X平台“控制住局面” [2]

政治与监管压力 - 美国三位民主党参议员（罗恩·怀登、埃德·马基、本·雷·卢汉）公开呼吁苹果和谷歌将X与Grok应用从其应用商店下架，直至其所有者马斯克禁止应用允许用户创建和分享未经同意的、涉及儿童性虐待的露骨图像及描述 [2][8] - 参议员在致苹果CEO蒂姆·库克和谷歌CEO桑达尔·皮查伊的信中表示，若不采取行动，将削弱应用商店比直接下载更安全的主张，并是对平台审核机制的嘲讽 [2][8] - 欧洲、马来西亚、澳大利亚和印度等国政府已因相关问题对xAI公司启动监管调查，但美国联邦贸易委员会（FTC）和司法部尚未明确是否展开调查 [3][9] 产品功能与安全问题 - Grok与X应用近期允许用户轻松生成并广泛分享“深度伪造”的露骨性化内容，涉及人物未同意其肖像被用于此类用途，Grok还被用于生成基于种族或民族歧视他人的图像 [2][8] - 近期案例显示，有用户指令Grok对一名大屠杀幸存者的后裔进行“数字脱衣”，生成了她身着比基尼站在奥斯威辛集中营外的图像 [3][9] - 周五X应用已将Grok的人工智能图像生成功能仅限付费订阅用户使用，但Grok独立应用及官网仍允许用户在未获同意的情况下，指令Grok对他人的照片或视频进行数字脱衣、性化处理或侮辱性操作 [3][10] 公司回应与内部变动 - 1月3日，马斯克与X应用曾发表声明称，任何使用或指令Grok生成非法内容的人，都将面临与上传非法内容相同的后果 [3][9] - Grok近期的功能更新以及相关安全保障措施的相对缺失，是马斯克提出的要求，在此要求提出后，三名负责公司安全团队的xAI员工已在X平台宣布离职 [4][10] 行业规范与先例 - 苹果和谷歌均对应用开发者制定了严格的指导原则，要求开发者必须阻止上传和分享涉及儿童性虐待的图像以及其他露骨或有害内容 [3][9] - 此前，包括Tumblr和Telegram在内的社交媒体及即时通讯应用，就因未能过滤各类不当内容，被苹果应用商店下架过 [3][9] 融资与投资者情况 - 尽管面临舆论反弹，xAI公司本周仍宣布完成了200亿美元的融资 [5][10] - 投资方包括英伟达、思科投资公司，以及长期支持马斯克旗下企业的瓦勒股权合伙人公司、斯泰普斯通集团、富达投资、卡塔尔投资局、阿布扎比MGX投资公司和巴伦资本集团等 [5][10]

AI换脸技术滥用现状 - 通过AI换脸、深度伪造等虚拟合成技术，大量违背伦理道德的色情视频被“炮制”而出，受害者面容被恶意嫁接到低俗影片中，甚至滋生出黑灰产 [1] - 在短视频社交平台的隐秘角落，基于虚拟合成技术的犯罪正悄然蔓延 [1] - 这些以假乱真的换脸视频突破了法律与道德的底线，对个人安全和社会公序良俗构成严重威胁 [1] 具体案例与受害者影响 - 娱乐主播小雨的面容被换到色情影片中传播，使其无端卷入不良舆论风波，不敢再参加任何线上或线下社交活动 [3] - 不法分子在“工程设计交流群”等平台，将许多女性的脸换到色情电影中非法牟利 [3] - 2024年8月，韩国爆发深度伪造危害事件，通讯软件“电报”上存在大量聊天群创建和分享露骨的“深度伪造”色情图像，涉及对象包括未成年女孩，社交媒体流传的受影响名单包含百余所韩国中小学以及国际学校，受害者达到22万余人 [5] 黑灰产服务与交易模式 - 在“可灵AI交流群”等群聊中，有人以988元包教会的价格提供AI换脸制作擦边视频的服务 [4] - 在淘宝搜索“AI人脸替换”，会出现不少提供AI换脸视频制作服务的商家，消费者只需花费几元到十几元不等，就能定制一部换脸视频，换脸对象可以是普通女性、女网红或女明星 [4] - 在电商平台、二手交易平台，可以轻松找到专用于深度伪造的预训练模型，这些模型被称为“AI金丹”，只需要几元钱成本便可轻易获得 [7] 技术实现与工具获取 - 深度伪造最常见的是AI换脸技术，也包括语音模拟、人脸合成、视频生成等 [5] - 制作AI换脸视频最多只需要四样东西：AI换脸软件、预训练模型、被换脸的视频、受害人照片 [5] - 最初版本的深度伪造大概需要50张多角度、高清晰度的照片才能实现较为自然的视频合成，但经过迭代，目前只需要20张左右的照片就可以实现 [5] - 预训练模型是AI开发的一个基本机制，在AI换脸任务中，由于新手训练出的模型会出现贴脸不自然、严重掉帧等现象，需要使用预训练模型 [6] 执法挑战与监管应对 - 在打击AI换脸色情视频的技术攻防战中，公安机关面临服务器难以追踪、证据难以保存等前所未有的挑战 [9] - 犯罪嫌疑人会通过频繁更换服务器、匿名网络信息等手段隐藏踪迹，电子证据极易被加密、篡改或销毁，对警方搜集证据、研判案情造成阻碍 [9] - 过高的技术壁垒使得受害者独立取证几乎成为一件不可能的事，“人赃俱获”的传统办案模式在AI犯罪面前已不起作用 [9] - 近年来，通过开展各类专项行动、加强技术研究，必要时联合国际执法机构协同办案，公安机关“打击利用AI技术犯罪”的多维防线日益紧固 [10] - 2025年1月，天津的李先生被诈骗分子伪造的企业老板视频诱导转账95万元，专案组通过分析资金流向、追踪异常IP地址，联合网络安全公司还原了犯罪团伙利用AI语音合成技术实施诈骗的全过程，最终警方与银行联动追回了83万元 [10]

行业现状与问题 - 在短视频社交平台等网络隐秘角落，基于AI换脸、深度伪造等虚拟合成技术的犯罪正在蔓延，大量违背伦理道德的色情视频被“炮制”而出，受害者面容被恶意嫁接到低俗影片中，并滋生出黑灰产 [1] - 这些以假乱真的换脸视频突破了法律与道德的底线，对个人安全和社会公序良俗构成严重威胁 [1] - 深度伪造（Deepfake）是指通过人工智能生成技术，将个人的声音、面部表情以及身体动作拼接合成虚假内容，最常见的是AI换脸技术 [4] 犯罪手法与产业链 - 不法分子将女性主播、网红、明星乃至普通女性的面容换到色情影片中传播并非法牟利，导致受害者遭受不良舆论并影响其正常社交生活 [2] - 存在公开提供AI换脸视频制作服务的黑灰产，例如在“可灵AI交流群”等群聊中，有人声称“988元包教会”制作擦边视频；在淘宝等电商平台搜索“AI人脸替换”，可找到花费几元到十几元定制换脸视频的商家 [3] - 制作AI换脸色情视频已形成黑色产业链，核心“作案工具”包括：AI换脸软件、预训练模型、被换脸的视频、受害人照片 [4] - 获取预训练模型（常被称为“AI金丹”）的门槛极低，在电商平台、二手交易平台只需花费几元钱即可轻易获得，降低了深度伪造的技术门槛 [7] - 经过技术迭代，目前制作深度伪造视频所需受害人照片数量已从最初版本的约50张多角度高清照片，减少到仅需20张左右照片即可实现较为自然的视频合成 [4] 受害者规模与影响 - 受害者案例普遍，并非个例，不法分子建立的群组按城市和学校对受害者进行分类，旨在其社交圈内传播 [9] - 2024年8月韩国爆发大规模深度伪造危害事件，社交媒体流传的受影响名单包含百余所中小学及国际学校，受害者达到22万余人 [4] - 深度伪造的受害者群体主要是女性，例如发布在社交平台的女高中生照片被合成到裸体表情包上 [9] 执法挑战与应对 - 公安机关在打击此类犯罪时面临服务器难以追踪、证据难以保存等前所未有的技术挑战，电子证据极易被加密、篡改或销毁，对案情研判造成阻碍 [9] - 对AI生成内容进行溯源难度极大，传统办案中“人赃俱获”的模式在AI犯罪面前已不起作用，受害者因技术壁垒难以独立取证 [9] - 近年来，公安机关通过开展专项行动、加强技术研究及国际执法合作，构建“打击利用AI技术犯罪”的多维防线 [10] - 2025年1月，天津发生一起利用AI语音合成技术伪造企业老板视频实施的诈骗案，涉案金额95万元人民币，专案组通过分析资金流向、追踪IP地址，联合网络安全公司还原犯罪过程，并与银行联动追回83万元 [10]

平台内容生态与监管风险 - X平台成为AI生成非自愿脱衣图像的主要传播网站，监测显示本周早些时候该平台每小时出现数千张此类图片[1] - 社交媒体研究员监测发现，X平台内置的AI聊天机器人Grok平均每小时生成约6700张带有性暗示或裸露性质的图像[3] - 在同一监测周期内，其他五个主要传播此类内容的网站平均每小时新增的AI“脱衣”图像仅为79张，突显X平台问题的严重性[3] AI产品策略与内容管控 - Grok对用户几乎不设限，允许生成针对真人（包括未成年人）的性化内容，这与Anthropic、OpenAI及谷歌等公司积极抑制不良内容的做法形成对比[4] - Grok的开发公司xAI被指几乎放任用户肆意妄为，马斯克曾宣称Grok比其他聊天机器人更有趣、更敢说，并以此标榜X平台为“言论自由之地”[4] - 马斯克并未从源头阻止Grok生成此类内容，而是主张对提出相关生成请求的用户进行惩罚，称其将面临与上传非法内容相同的后果[4] 用户影响与平台处理 - 受害者案例显示，用户发布在X平台的自拍照被陌生用户利用Grok篡改生成性化图像，对受害者造成严重心理伤害[4] - 受害者通过X平台的内容审核系统举报违规图片，但未收到回复或被告知内容未违反规定，截至发稿时违规图片仍未被下架[5] - 受害者与Grok对质时，Grok虽常道歉并承诺删除图片，但在多数情况下图像依然存在，且Grok仍在不断生成新的伪造内容[5] 监管审查与法律环境 - Grok因生成传播未经同意的性化图像（包括涉及未成年人的内容），正遭到欧盟、英国、马来西亚、法国和印度等多国监管机构的强烈谴责[6] - 欧盟委员会发言人指出，Grok的“火辣模式”更新使其能生成露骨的性内容，部分图像包含儿童形象，并称这是违法行为[6] - 律师指出，在AI生成内容问题上，X平台并非被动发布方，而是直接参与了图像的生成与创作，这可能影响其依据美国《通信规范法》第230条款享有的责任豁免[6] - 2025年签署生效的联邦法律《下架法案》规定平台需对此类内容的生成与传播承担法律责任，并要求相关平台在2026年5月前建立法定的内容下架处理机制[7]

核心事件与监管审视 - 欧盟正极为严肃地审视埃隆・马斯克旗下人工智能聊天机器人Grok 因其在社交平台X上生成包含未成年人在内的性化图像 [1] - 欧盟委员会发言人指出Grok的“火辣模式”会生成露骨涉性内容 部分内容包含儿童形象相关画面 并称这是违法行为而非“火辣” [3] - 用户诱导Grok对人物照片进行数字化“脱衣”处理 主体多为女性 处理后人物看似仅着内衣或比基尼 这类图像在X平台泛滥 [3] 公司回应与产品定位 - 马斯克在X平台发文称 平台将通过移除非法内容 永久封禁账号及配合官方调查等方式整治非法内容 并强调利用Grok生成非法内容者将面临与上传非法内容同等的后果 [3] - 主流AI模型大多严禁生成涉性图像和视频 但xAI将Grok定位为更具开放性的产品 允许生成成年人局部裸露及带有性暗示的图像 但明令禁止生成涉及真人肖像的露骨色情内容及涉及未成年人的涉性内容 [3] 全球监管行动与调查 - 英国通讯管理局已知悉对Grok功能的重大担忧 并已紧急联络X平台和xAI公司 要求其说明为履行保护英国用户法律义务所采取的措施 [4] - 法国政府指控Grok在未经当事人同意的情况下于X平台生成明显违法的涉性内容 并指出此事可能违反欧盟《数字服务法案》 [4] - 印度电子和信息技术部已责令对Grok的安全功能展开全面审查 马来西亚官方在接到关于Grok生成低俗内容的投诉后也正展开调查 [5] 监管背景与潜在影响 - xAI未能实施有效的防护措施 这招致了全球监管机构的谴责 [4] - 马斯克旗下的X平台此前已因涉嫌违反欧盟《数字服务法案》接受调查 并于去年12月因合规不力被处以1.2亿欧元（约合9.82亿元人民币）的罚款 这是该法案开出的首张罚单 [5] - 欧盟对X等美国科技企业的重点监管举措 遭到了美国总统特朗普政府的强烈批评 美方称欧洲监管机构的做法是在审查言论自由 [5]

文章核心观点 - 核武器安全专家艾琳·D.邓巴克尔撰文呼吁，尽管核武器大国同意由人类掌握核武器发射最终决定权，但判断核袭击的预警系统这一关键环节也不能交由人工智能控制，因为不成熟且存在滥用风险的人工智能技术正在威胁核安全稳定 [1][2] 核预警系统历史风险案例 - 1983年美苏冷战时期，苏联核武器预警系统曾发生误报，显示美国发动了核袭击，多亏现场军官斯坦尼斯拉夫·彼得罗夫的冷静判断才避免了一场可能毁灭世界的核战争 [1] 人工智能技术带来的具体风险 - 人工智能技术使得对信息、图片和视频的深度伪造变得更容易且更具迷惑性，在俄乌冲突中，此类内容已多次引发公共舆论混乱，甚至影响了有权决定是否使用核武器的美国总统特朗普 [4] - 技术不成熟会导致人工智能频繁输出错误信息，甚至出现“算法幻觉” [4] - 若人工智能掌握核袭击预警系统，一旦被深度伪造信息误导或产生失实“幻觉”，即便最终决定权在人类手中，也会直接干扰人类判断 [4] - 现代核武器发展大幅压缩了人类决策时间，例如美国洲际弹道导弹发射后约半小时即可抵达目标，留给人类的研判时间可能只有几分钟 [4] - 人工智能已具备诱导核指挥链中的关键决策者与相关人员的能力，使其误以为遭遇了实际不存在的核打击 [5] 专家提出的建议与措施 - 即便推动人工智能军事化应用，也应在涉及核武器层面严格限制，包括提高信息核查门槛，并对人工智能提供的信息分析打上专门标签 [5] - 需要训练更多像彼得罗夫一样的人员，使其对机器给出的信息始终保持警惕 [5] - 应对美国总统动用核武器的权力加以限制和规范 [5] - 美国应与其他核武器国家建立通畅的危机沟通机制 [5] - 应当制定政策并落实举措，以防范恶性信息风险最终引发世界末日 [5]