公司对生成式AI虚假信息活动的评估与应对 - 公司表示 尽管存在广泛担忧 但其挫败由不断改进的生成式AI创建的协同虚假信息活动的努力正在发挥作用[1] - 公司威胁情报调查负责人表示 迄今为止 尚未看到对手对生成式AI工具进行破坏性使用[4] - 公司威胁中断政策主管指出 行业现有的防御措施 包括侧重于行为而非内容来应对对抗性威胁 似乎仍然有效且适用[2] 已观察到的生成式AI具体滥用案例 - 公司发现“威胁行为者”利用AI创建虚假照片、视频和文本 但报告中未提及逼真的政客图像[3] - 生成式AI被用于为公司旗下应用的虚假账户创建个人资料图片[3] - 一个来自中国的欺骗网络显然利用该技术为名为“K行动”的虚构亲锡克教徒活动制作海报[3] - 一个基于以色列的网络在媒体组织和公众人物的Facebook页面上发布了似乎是AI生成的关于中东政治的评论[4] 针对特定国家关联的虚假信息活动的行动 - 报告显示 一个名为“Doppelganger”的与俄罗斯有关联的组织持续利用公司应用来削弱对乌克兰的支持 但其活动在平台上正被挫败[4] - 公司在过去20个月里移除了源自中国、针对澳大利亚、加拿大、印度、巴基斯坦等国锡克教徒社群的小型虚假Facebook和Instagram账户集群[5] - 这些虚假账户上的帖子呼吁举行亲锡克教徒的抗议活动[5] 行业背景与监管压力 - 公司的最新研究发布之际 人们日益担忧生成式AI将被用于在全球即将举行的选举中欺骗或迷惑民众 尤其是在美国[1] - 欧盟目前正在调查公司的Facebook和Instagram 指控其在6月欧盟选举前未能打击虚假信息[2] - 专家们现在也担心 由于使用ChatGPT或Dall-E图像生成器等生成式AI工具可以轻松、按需、在几秒钟内制作内容 公司应用上来自恶意行为者的虚假信息将出现前所未有的泛滥[3]