行业监管动态 - 国家网信办等四部门联合发布《人工智能生成合成内容标识办法》，规定自2024年9月1日起，所有AI生成的文字、图片、视频等内容需添加显式和隐式两种标识 [3] - 新规明确内容发布者为AI内容的第一责任人，需对AI虚假内容负主要责任，此举旨在从源头遏制AI虚假内容的传播 [3][14] - 将责任传导至创作者被视为当前技术条件下遏制AI虚假内容的有效手段，对潜在的黑灰产行为形成震慑 [14] AI技术滥用与安全挑战 - 以ChatGPT为代表的AI大模型技术显著降低了深度伪造等技术的使用门槛，使AI成为互联网上主要的谣言制造机 [5][6] - 黑产利用多模态AI大模型生成的内容可以假乱真，例如“AI马斯克”骗走老人退休金、“Yahoo Boys”使用AI视频进行“杀猪盘”等案例已不鲜见 [5] - 谷歌发布的Nano-banana等工具能够遵循自然语言进行复杂修图，使得人工编写内容与AI创作内容之间的差异日益模糊 [6] 行业安全技术发展 - OpenAI、谷歌、字节跳动、阿里巴巴等大型科技公司致力于通过“AI安全护栏”机制，利用动态意图分析、对抗性样本训练、跨模态验证等方式防止AI生成有害内容 [7][9] - “AI安全护栏”存在固有缺陷，过于严密的安全设置会限制AI的自主决策能力和主观能动性，导致模型性能下降，因此科技巨头难以完全杜绝有害内容生成 [9][10] - 行业尝试通过水印技术实现AI内容的可追溯和可辨别，例如微软、Adobe、索尼、OpenAI、Meta等公司组建了内容来源和真实性联盟（C2PA） [12] 平台内容管理困境 - 微信、抖音、快手、知乎等内容平台要求创作者主动添加“内容由AI生成”的声明，以帮助用户区分虚拟与真实 [12] - 大量创作者因担心内容被限流而未主动声明AI生成内容，反映出平台在鼓励AI赋能创作与防止低质量AI内容污染社区氛围之间的复杂态度 [12] - 研究发现AI水印技术并不牢固，通过调整亮度、对比度或添加高斯模糊等简单技术手段即可轻松去除预设水印 [12]

政策法规实施 - 《人工智能生成合成内容标识办法》于9月1日正式施行 要求对AI生成内容进行显式标识和隐式标识 [1][4] - 显式标识需以文字、声音、图形等可感知方式呈现 隐式标识通过技术措施嵌入文件数据 [4] - 办法由国家网信办、工信部、公安部、国家广电总局联合制定 共包含14条规定 [4] 行业违规现状 - 9月1日新规施行后 仍存在未标注AI创作的合成视频 例如某情感博主使用刘姓女明星形象制作"鸡汤"视频 点赞量达数千至上万 [5] - 该未标注账号店铺上线90多件商品 包括抽纸、牙膏、护发膜、养生茶等日用消费品 [5] - 今年5月调查显示 孙俪邓超等明星AI伪造视频仍大量存在 被用于推荐减肥类产品且未标注AI生成 [4] 灰色产业链模式 - 不法分子利用AI深度伪造技术快速起号引流 通过带货、卖课等方式变现 [1][4] - 形成"起号、转型、转卖"的完整产业链 克隆明星声音制作鸡汤哲理视频实现引流变现 [4] - 伪造账号被明码标价置于交易网站 存在完整灰色产业链条 [4] 行业治理挑战 - 学者指出网络虚假信息系长期顽疾 AI技术使其传播更便捷 [5] - 平台需承担审核责任并掌握鉴别技术 对AI生成内容进行标注 [5] - 信息发布需遵守底线 不得误导公众或损害合法权益 平台应及时处理虚假信息 [5]