AI深度伪造
搜索文档
AI生成内容今起须标识,仍有视频未标!起号引流乱象曾曝光
南方都市报· 2025-09-01 15:00
政策法规实施 - 《人工智能生成合成内容标识办法》于9月1日正式施行 要求对AI生成内容进行显式标识和隐式标识 [1][4] - 显式标识需以文字、声音、图形等可感知方式呈现 隐式标识通过技术措施嵌入文件数据 [4] - 办法由国家网信办、工信部、公安部、国家广电总局联合制定 共包含14条规定 [4] 行业违规现状 - 9月1日新规施行后 仍存在未标注AI创作的合成视频 例如某情感博主使用刘姓女明星形象制作"鸡汤"视频 点赞量达数千至上万 [5] - 该未标注账号店铺上线90多件商品 包括抽纸、牙膏、护发膜、养生茶等日用消费品 [5] - 今年5月调查显示 孙俪邓超等明星AI伪造视频仍大量存在 被用于推荐减肥类产品且未标注AI生成 [4] 灰色产业链模式 - 不法分子利用AI深度伪造技术快速起号引流 通过带货、卖课等方式变现 [1][4] - 形成"起号、转型、转卖"的完整产业链 克隆明星声音制作鸡汤哲理视频实现引流变现 [4] - 伪造账号被明码标价置于交易网站 存在完整灰色产业链条 [4] 行业治理挑战 - 学者指出网络虚假信息系长期顽疾 AI技术使其传播更便捷 [5] - 平台需承担审核责任并掌握鉴别技术 对AI生成内容进行标注 [5] - 信息发布需遵守底线 不得误导公众或损害合法权益 平台应及时处理虚假信息 [5]
瞭望 | AI推动认知博弈变局
新华社· 2025-05-06 16:12
AI驱动认知博弈进入新阶段 - AI技术正驱动认知博弈进入辨别真伪更难、操作门槛更低、传播效率更高的新阶段[1][5] - 2023年5月至12月期间,生成虚假文章的网站数增长1000%以上,内容涉及15种语言[1][5] - 2024年的AI风险事件总数比2022年增加了约21.8倍,并呈快速增长态势[2] AI深度介入信息传播全链条 - 在数据采集、内容生产与渠道分发等环节,AI深度介入认知博弈,形成了系统性、隐蔽性更强的价值渗透模式[1][11] - 信息采集阶段:数据污染动摇事实基础,ChatGPT的训练数据中,中文语料比重不足千分之一,英文语料占比超过92.6%[11] - 内容生成阶段:算法黑箱存在失控风险,AI通过复杂的神经网络运算形成难以解析的“算法黑箱”,使内容生产面临价值不确定性[12] - 传播分发阶段:推荐算法强化信息茧房,一家主流媒体2023年的调查数据显示,1501名受访者中有62.2%的受访者感觉到自己陷入了“信息茧房”[13] 辨别真伪难度显著增加 - AI的自我学习和优化能力,使虚假信息传播呈现智能化、定制化特征,让信息真伪判别难度更高[5] - AI多模态能力支持从多个角度、多种形式印证同一观点,加剧了伪造信息的隐蔽性[6] - 中国互联网联合辟谣平台近一年来公布的近300条谣言中,有87%的谣言包含具体地点,21%附有数据表格,其逼真程度远超传统谣言[6] 操作门槛大幅降低 - AI技术的广泛应用,使过去需要国家力量发动的舆论战、认知战,演变成“一台电脑+一个念头”就能实现的低成本对抗[6] - AI将复杂的博弈手段简化为“输入指令—输出结果”的流水线操作,使用者无需掌握运作逻辑即可发动大规模跨境舆论攻击[7] - 认知博弈的参与主体已经呈现出自下而上、开放式的“大集市”模式,非国家行为主体、网络自媒体甚至个人都可能加入[7] 信息传播效率急剧提升 - 生成式AI的指数级传播能力,可短时间内引发全球受众对特定话题的关注和讨论[7] - 一项海外研究显示,AI生成的虚假图片在社交媒体上的传播速度是真实内容的6倍[8] - 2022年俄乌冲突爆发当日,海外社交平台上带有“支持乌克兰”标签的推文达到了每小时3.8万条,此后一周渲染恐俄情绪的推文达350万条,其中八成来自机器人账号[7] 虚假信息已产生实际市场影响 - 2023年5月,一张AI生成的“五角大楼附近爆炸”图片在社交网络上热传,尽管30分钟后被证伪,但标普500指数和道琼斯工业指数仍出现断崖式下跌[8] 应对措施:技术突破与自主创新 - AI认知博弈的本质是算力、算法与数据的综合角力,AI模型越先进、使用越广泛的一方,越具备更强大的认知塑造能力[15] - 2025年2月,中国AI企业深度求索自主研发的大语言模型DeepSeek以5.25亿次的月访问量超越ChatGPT的5亿次,成为全球增长最快的AI工具[15] - 主流媒体应尽可能做大内容资源和用户数据,持续提高技术自主创新能力,使媒体算法技术水平具备强大的竞争力[16] 应对措施:复合型人才培养 - 应着力培养具备技能水平和国际视野的AI领域人才,构建“既懂技术,又善传播”的复合型人才培养体系[16] - 鼓励企业作为生成式AI大模型第一梯队主力军进行人才培养的前沿技术探索和场景化应用研究,例如阿里云的“云工开物”计划与南京大学的合作[16] - 人才需要突破学科壁垒,了解掌握传播学、艺术学、心理学等专业知识,以推动AI内容生产[17] 应对措施:监管协作与国际治理 - 制度层已作出有益探索,例如《人工智能生成合成内容标识办法》要求给所有AI生成合成内容刻上“身份标识”[18] - 需进一步完善配套安全规范和实施细则,欧盟《人工智能法案》构建的全生命周期监管体系可作为参考[18] - AI认知博弈的跨国性特征要求国际社会必须超越零和博弈思维,通过协作建立统一的AI治理框架[18][19]
专访最高法刑三庭庭长陈鸿翔:加强AI深度伪造等研究,适时出台规范性法律文件
21世纪经济报道· 2025-03-07 18:35
AI技术滥用与电信网络诈骗犯罪趋势 - AI换脸、语音合成等技术被不法分子用于精准诈骗,技术监管和规范亟待加强[1][4] - 2024年电信网络诈骗案件审结4万余件8.2万余人,案件数和被告人数同比分别上升29.4%、26.7%[4] - 犯罪呈现集团化、跨境化趋势,境外团伙通过"海外高薪"利诱人员出境作案,衍生关联犯罪[4][6] 司法应对与技术治理措施 - 最高法将出台规范性文件完善AI深度伪造的法律适用,建立追踪溯源体系嵌入可追溯标识[1][9] - 强化反诈技术研发,提升境外涉诈电话识别和APP拦截能力,加强国际执法合作[6][7] - 针对网络暴力出台司法解释,明确诽谤认定标准及公诉程序,推动多元共治[10][11] 帮信罪治理与行业协作 - 帮信罪案件呈现低龄化、链条化特征,"两卡"类案件为主,需统一裁判标准[13] - 法院推动行刑衔接机制优化,构建多层次惩戒体系,加强部门协作与源头治理[13] - 法治宣传重点针对学生、农民等易涉案群体,提升社会认知度[13]