行业监管动态 - 国家网信办等四部门联合发布《人工智能生成合成内容标识办法》，规定自2024年9月1日起，所有AI生成的文字、图片、视频等内容需添加显式和隐式两种标识 [3] - 新规明确内容发布者为AI内容的第一责任人，需对AI虚假内容负主要责任，此举旨在从源头遏制AI虚假内容的传播 [3][14] - 将责任传导至创作者被视为当前技术条件下遏制AI虚假内容的有效手段，对潜在的黑灰产行为形成震慑 [14] AI技术滥用与安全挑战 - 以ChatGPT为代表的AI大模型技术显著降低了深度伪造等技术的使用门槛，使AI成为互联网上主要的谣言制造机 [5][6] - 黑产利用多模态AI大模型生成的内容可以假乱真，例如“AI马斯克”骗走老人退休金、“Yahoo Boys”使用AI视频进行“杀猪盘”等案例已不鲜见 [5] - 谷歌发布的Nano-banana等工具能够遵循自然语言进行复杂修图，使得人工编写内容与AI创作内容之间的差异日益模糊 [6] 行业安全技术发展 - OpenAI、谷歌、字节跳动、阿里巴巴等大型科技公司致力于通过“AI安全护栏”机制，利用动态意图分析、对抗性样本训练、跨模态验证等方式防止AI生成有害内容 [7][9] - “AI安全护栏”存在固有缺陷，过于严密的安全设置会限制AI的自主决策能力和主观能动性，导致模型性能下降，因此科技巨头难以完全杜绝有害内容生成 [9][10] - 行业尝试通过水印技术实现AI内容的可追溯和可辨别，例如微软、Adobe、索尼、OpenAI、Meta等公司组建了内容来源和真实性联盟（C2PA） [12] 平台内容管理困境 - 微信、抖音、快手、知乎等内容平台要求创作者主动添加“内容由AI生成”的声明，以帮助用户区分虚拟与真实 [12] - 大量创作者因担心内容被限流而未主动声明AI生成内容，反映出平台在鼓励AI赋能创作与防止低质量AI内容污染社区氛围之间的复杂态度 [12] - 研究发现AI水印技术并不牢固，通过调整亮度、对比度或添加高斯模糊等简单技术手段即可轻松去除预设水印 [12]