事件概述 - 埃隆·马斯克旗下人工智能公司xAI开发的聊天机器人“格罗克”（Grok）因平台监管严重缺失，被广泛滥用于生成色情及儿童色情内容，遭到英国、欧盟、印尼等多国监管机构的强烈谴责、调查或封禁 [1] 产品功能与滥用情况 - xAI于2025年8月向付费用户推出AI图像生成功能Grok Imagine，支持通过文字指令或上传图片生成图像和视频，并特别设置了可生成成人内容的“火辣模式”（spicy）[2] - 大量用户利用该功能对图像中人物执行“脱衣服”等指令，导致大量女性、公众人物及未成年人的照片在未经同意的情况下被生成裸露或性暗示图像 [2] - 据英国《卫报》报道，Grok的用户群体平均每小时要生成6700多张“脱衣”图像 [3] - 英国三一学院的研究显示，在社交平台X上由Grok生成的图像有3/4（即75%）的部分出自“真实素材”，即真实存在的女性或未成年人，且操作未经当事人同意 [3] 公司策略与市场定位 - 相比谷歌的Veo、OpenAI的Sora等其他AI视频生成产品对NSFW内容设有较严格限制，xAI及其产品Grok Imagine和AI伴侣Ani一直因安全护栏宽松而备受批评 [3] - 分析认为，允许Grok生成那些被主流AI平台拒绝的边缘内容，实则是为X Premium服务提供了一种隐秘的“荷尔蒙”，旨在通过监管套利收割被主流平台拒绝的用户需求 [3] 监管反应与调查 - 印度尼西亚政府于1月10日宣布暂时封禁Grok，认为其“严重侵犯人权尊严以及公民网络安全” [4] - 英国首相斯塔默痛斥Grok相关内容“令人不齿”“令人作呕”，英国通信管理局已于1月5日紧急联系X平台 [5] - 欧盟委员会发言人指出相关内容是赤裸裸的“违法”，正严肃调查相关投诉，并要求X平台提供更多信息 [5] - 法国巴黎检方于1月2日证实，将对Grok涉嫌生成非法色情内容启动调查 [5] - 波兰、印度、马来西亚和巴西等国的官员及监管机构也纷纷对X平台表示谴责并呼吁展开调查 [5] 事件性质与危害 - Grok生成的不仅仅是普通成人内容，而是涉及无防护栏下的深度伪造（Deepfake）和儿童性剥削或虐待材料（CSAM）[6] - 这种行为侵犯当事人肖像权，模糊现实与虚构的边界，可能成为网络霸凌和性剥削的廉价“核武器”，本质上是一种暴力 [6][7] 公司应对措施 - 在监管压力下，Grok日前仅做出小幅调整：将图像生成与编辑功能设置为“仅限付费用户使用”，并鼓励用户订阅解锁相关功能 [7] - X平台声称会对非法内容采取行动，例如删除内容、永久封禁账户，并在必要时与当地政府和执法部门合作 [7] 行业影响与专家观点 - 专家指出，继续在法律和道德的边缘试探或许能换来一时的订阅收入，但最终可能导致公司在全球主要市场的全面瘫痪 [7] - 对生成式AI施加防护栏（Guardrails）已成为保护弱势群体和维护社会秩序的不可逆转的共识 [1][7]

AI大模型行业应用与赋能 - AI大模型正加速赋能千行百业，成为推动生活日新月异的“数字伙伴”[3] - 具体应用案例显示，AI能显著提升效率，例如教师备课时间从两小时缩短至五分钟[1] - AI应用创造了新的就业岗位，如提示词工程师、AI绘图师等[1] - AI技术正深度融入日常生活，例如为独居老人提供陪伴、提醒等个性化服务[1] AI大模型发展面临的挑战与风险 - 技术发展伴随数据隐私与安全边界模糊的风险，个别单位因使用开源框架导致内部网络被未经授权访问，引发数据泄露[4] - 技术滥用风险突出，深度伪造技术可被用于生成虚假音视频，误导舆论、制造恐慌，对个人权益、社会稳定及国家安全构成威胁[4] - 存在算法偏见与决策“黑箱”问题，AI判断依赖训练数据，若数据存在偏见或代表性不足，可能放大歧视，测试显示某些AI会系统性偏向西方视角[4][5] AI大模型安全使用守则 - 划定“活动范围”，做到权限最小化，例如联网AI不处理涉密数据，关闭不必要的访问权限[7] - 检查“数字足迹”，定期清理聊天记录、修改密码、更新防病毒软件，避免下载来源不明的大模型程序，对索取敏感信息的要求保持警惕[7] - 优化“人机协作”，提问时明确禁止AI过度推演并要求显示思考过程，对重要信息进行跨平台验证，对涉及政治、历史等话题的AI回答需辩证看待[7] 行业监管与用户责任 - 安全是发展的前提，发展是安全的保障，需懂科技并安全使用科技以推动社会进步[8] - 用户应提高安全意识，审慎授权大模型软件权限[8] - 发现AI大模型存在窃取个人信息、向境外传输敏感数据等问题时，可通过12339电话、网络举报平台等渠道向国家安全机关举报[8]

文章核心观点 - 提出一种名为FractalForensics的主动深度伪造检测与定位方法，该方法基于分形水印技术 [5] - 该方法旨在解决现有水印技术在鲁棒性、伪造定位能力以及计算资源消耗方面存在的问题 [4][8] - 通过参数化的水印生成和加密流程，结合卷积神经网络模型，实现了在检测Deepfake的同时完成伪造区域的精确定位 [5][9][11] 工作动机 - 现有针对深度伪造的主动防御研究，如鲁棒水印和半脆弱水印，在检测任务上取得进展但仍存在局限 [4] - 当前技术普遍面临鲁棒性不稳定、无法同时进行鉴伪和定位、以及因存储ground-truth而大量消耗计算资源的问题 [8] 工作介绍 - 提出的水印以矩阵形式出现，区别于以往的水印向量，以实现伪造定位功能 [5] - 设计了一个参数化的水印生成和加密流程，以标准希尔伯特曲线为例，并定义了旋转、镜像、次序改变三个变体参数，共可产生144种分形变体 [6][7] - 构建混沌加密系统对分形矩阵进行加密，加密后的值为0到9的一位十进制数字，并转化为四位二进制值以提升容错率 [7][9] - 水印嵌入与提取基于卷积神经网络，采用entry-to-patch策略将图像划分为32x32的patch，以位置对应方式嵌入水印 [9][10] - 通过控制卷积核大小远小于patch尺寸，确保各patch间水印互不影响，篡改区域会丢失水印从而实现检测与定位 [11] 实验结果 - 经过针对Jpeg压缩的对抗训练后，该方法在面对常见图像处理时保持了最优的鲁棒性，在面对Deepfake伪造时展现了合理的脆弱性 [13] - 在CelebA-HQ数据集上的鲁棒性评估显示，其平均鲁棒性达到99.73%（patch）和99.91%（bit），显著高于对比模型如WaterLo（73.10%）和SepMark（92.39%） [14] - 在Deepfake脆弱性评估中，面对多种伪造方法（如SimSwap、InfoSwap等），该方法平均脆弱性为39.27% [15] - 在Deepfake检测的AUC效果对比中，该方法对多种伪造技术的检测效果均达到99.99%，平均效果为99.99%，优于所有被动检测的SOTA工作 [16][17] - 伪造定位效果显示，该方法能准确聚焦于被篡改区域，face swapping方法定位区域主要在人脸内部，face reenactment方法的定位区域分布更离散 [18][20][21]

视觉与机器人模型技术进展 - 国内首个基于纯国产算力预训练的移动端视觉基座大模型“橘洲”发布V1.5端侧版，性能更强并实现从IOS到安卓生态的跨越 [2] - “橘洲”V1.0版本能在没有网络的情况下于IOS系统手机上实现1024×1024分辨率图像的秒级生成，具有成本低、质量高、速度快、轻量级、可离线特点 [2] - 新版本“橘洲”在参数量降低到1/50、训练速度提升5倍、生成速度提升7倍的基础上，经行业数据训练后即可成为垂类大模型 [2] - 加速进化推出升级款机器人Booster T1，其结合千诀类脑大模型开发，可以听懂模糊语言指令并全自主做家务 [2] AI工具应用与功能创新 - Perplexity联合创始人兼CEO宣称已告别PPT，仅通过AI工具完成投资者路演，其A轮融资后仅写备忘录并让投资者直接提问 [3] - 马斯克称Grok将推出AI视频检测工具，具备识别AI生成视频并追踪其网络来源的能力，以应对深度伪造内容 [3] - Grok的升级功能可直接在视频比特流中分析AI生成特征，识别出压缩或生成过程中留下的细微痕迹 [3]

AI技术应用与风险 - AI技术正渗透到各行业和日常生活 推动经济社会高质量发展 [1] - 深度伪造技术可用于影视 游戏 广告等行业 创造逼真虚拟角色和场景 [2] - 生成式AI具备强大学习能力 依赖大量数据进行多模态创作 [4] AI技术滥用风险 - 深度伪造技术可能被用于生成虚假视频 误导舆论并威胁国家安全 [2] - AI工具可能收集存储用户隐私信息 存在数据泄露风险 如境外AI模型曾泄露用户聊天记录标题 姓名 支付地址等 [4] - AI算法可能被植入偏见性数据 输出特定意识形态 被用于煽动社会对立 [6] AI治理与防范措施 - 国内已出台《生成式人工智能服务管理暂行办法》等部门规章 规范AI治理 [8] - 需加强公众AI安全意识 提升信息辨识能力 防范隐私数据上传风险 [8] - 使用AI工具时应限制权限 禁止非必要应用获取通讯录 相册 地理位置等敏感信息 [8] 行业监管与举报机制 - 公众可通过12339电话 网络平台等渠道举报危害国家安全的AI服务行为 [9]