【环球时报驻韩国特约记者 黎枳银】韩国政府要求广告商对使用人工智能（AI）技术制作的广告进 行"显著标识"。相关法律将在修订后于2026年年初正式实施。韩媒分析称，社交媒体上利用深度伪造技 术制造"虚假专家"或"名人代言"的欺骗性广告持续增加，新规旨在遏制这一不良趋势。 据美联社报道，韩国国务总理金民锡于10日召开政策会议。会上，政府官员表示将全面加强对AI生成 广告的筛查与清理，并对违规行为处以罚款。韩国政府国务调整室财政金融政策官李东勋表示，此类广 告正在"扰乱市场秩序"，必须迅速采取行动。今后凡利用AI生成、编辑或上传的图片与视频均须标 注"AI制作"，用户不得删除或篡改相关标签，平台运营企业也需确保广告商遵守规定。 报道称，随着深度伪造技术扩散，伪造专家及名人音视频推广减肥药、化妆品甚至非法赌博网站的广告 在韩国多个社交媒体频繁出现，对消费者构成直接风险，尤其是无法辨认AI的老年消费者。韩国食品 医药品安全处2024年共查处9.67万条食品及药品类非法在线广告，今年前9个月已查处接近7万条，远高 于2023年约5.9万条的水平。 与此同时，AI扩散对广告业生态的影响在业内引发讨论。据韩联社报道，韩国多 ...

AI is upending the porn industry 合成色情内容即将充斥互联网，带来新的机遇和风险。 插图：Getty Images / 《经济学人》 长期以来，成人娱乐行业一直是新技术试验场。15世纪，约翰内斯·古腾堡发明印刷机后，很快就被用于印刷低俗小册子。成人电影于1977年 发行录像带，比好莱坞主流电影早一年，并在一段时间内占据了销售主导地位。20世纪80年代初，法国互联网的前身Minitel推出时，色情服务 最初占其总流量的三分之一到一半。8毫米胶片摄影机、有线电视，以及如今的人工智能（AI），都经历了类似的过程。 尽管许多企业仍在犹豫是否部署人工智能，但这项技术已被用于制作色情内容。色情网站充斥着人工智能生成的视频和图像。大型人工智能公司 为了从其超级智能模型中盈利并证明其高昂估值的合理性，也纷纷加入这一行列。x AI的 Grok 已经提供了一种"刺激"模式，能够生成露骨的 图像和视频。Open AI将于 12 月起在 Chat GPT上提供色情内容（但仅限已验证的成年人）。据研究机构 Global Commerce Media 称，今 年人工智能驱动的成人内容市场价值将达到 25 ...

AI深度伪造技术发展现状 - AI深度伪造技术已高度成熟，能够逼真模仿人物面部特征、口型变化、肌肉牵动及神态，实现以假乱真[4][35] - 技术门槛大幅降低，大量用户友好型应用程序和平台涌现，使深度伪造技术平民化、普及化[38] - 深度伪造技术利用深度学习算法，通过"喂给"目标人物图像和视频数据来捕捉并模仿个人特征[35] AI换脸侵权事件规模与范围 - 侵权范围覆盖明星、主持人、奥运冠军等公众人物，如温峥嵘、刘涛、张柏芝、刘晓庆、李梓萌、张伯礼院士、全红婵等均遭遇AI换脸[6][10][12][14][20] - 英伟达CEO黄仁勋的AI分身同步开启加密货币直播，吸引观众数量超过真人直播[16] - 普通人群成为新目标，青岛保时捷销冠牟女士被伪造不雅视频，韩国Deepfake事件涉及未成年人、教师、军人等广泛群体[26][30] AI换脸黑灰产业链特征 - 形成完整产业链，服务明码标价：换脸换声463元，只换声音228元，均可定制话术[41] - 黑产工具伪装成普通绘图软件，明确标注"可实现换头换衣功能"，并兜售诈骗软件和教程[41] - 数字内容生成扩散速度极快，每次转发分享都会模糊原始痕迹，增加追踪难度[38] 技术滥用带来的社会危害 - 被广泛用于带货诈骗，如假杨幂卖服装、假古天乐代言游戏、假全红婵销售土蜂蜜等[18][20][22] - 成为造谣工具，薛凯琪被编造恋情，泰勒·斯威夫特被生成虚假色情图片，雷军形象被篡改[24] - 针对普通人的精准诈骗升级，已出现伪装亲属视频借钱、冒充高管指令转账等案例，单笔诈骗金额最高达2亿港元[32][33] 监管与技术对抗困境 - 技术发展速度远超法律制定流程，监管存在明显滞后性[39] - 检测技术与伪造技术持续博弈，伪造技术快速进化导致检测技术始终处于落后状态[38] - 跨境执法面临挑战，韩国调查人员需要法院批准才能进入聊天室，但往往发现时犯罪窝点已消失[39]

事件概述 - YouTube平台出现利用深度伪造技术制作的英伟达CEO黄仁勋演讲直播，虚假直播浏览量一度达9.6万人次，超过真实直播浏览量1.2万人次的7倍 [2] - 在YouTube平台搜索"Nvidia gtc dc"演讲时，该虚假直播位列搜索结果首位 [5] - 该非法直播在首次被曝光约40分钟后被YouTube下架 [7] 虚假内容细节 - AI虚拟人声称有一个与“英伟达加速人类进步的使命直接相关”的加密货币普及活动作为惊喜 [8] - 伪造内容涉及英伟达硬件处理加密挖矿复杂运算、优化以太坊智能合约、推动Solana交易等 [8] - 假黄仁勋要求观众扫描屏幕二维码，诱使他们向所谓“英伟达推出的加密货币分发计划”转账 [8] 技术影响与行业背景 - 利用生成式AI伪造公众人物已变得异常简单，且效果逼真，假黄仁勋的语调虽不自然，但足以使部分观众轻信骗局 [8] - 此前网络上出现过AI生成的埃隆·马斯克声音推广加密货币骗局，以及Linus Tech Tips频道遭黑客攻击时假马斯克现身相关频道 [9] - 除加密货币骗局外，“名人换脸”色情片也是深度伪造技术的重灾区，涉及多位知名女明星 [9]

AI合成技术滥用现状 - 深度伪造及类似合成技术滥用已催生黑灰产[1] - 网购平台存在少量隐蔽销售的"AI换衣""AI换脸"类工具 价格从1 9元至15元不等[2] - 不法分子利用AI换脸换衣技术进行造谣诽谤甚至诈骗活动[3] 具体案例与执法情况 - 青岛保时捷销售中心员工因AI恶意合成虚假不雅视频已报警处理[1] - 贵阳一女子直播带货照片被AI合成裸照传播 涉案人员被行政拘留[2] 技术检测与监管挑战 - AI换脸换衣技术已相当成熟 可生成逼真视频图片[3] - 专业检测手段可通过分析光影效果 物体变形 元数据和像素模式来识别伪造[3] - AI技术快速进步使检测方法无法给出绝对结论 仅能作为参考[3] - 监管机构和平台正采取措施提高公众识别能力[3]

行业技术挑战 - 深度伪造技术快速发展，生成内容愈发逼真，导致换脸攻击、身份冒用和欺诈事件在全球范围内频发，严重威胁个人隐私和金融安全 [1] - 金融科技企业在海外地区开展业务时面临地域、人种、光照条件、图片质量等多重差异的复杂情况 [1] 技术应对与竞赛成果 - 第十届信也科技杯全球人工智能算法大赛核心命题为开发能精准识别真伪图像的算法，以应对跨国、跨场景的深伪攻击挑战 [1] - 冠军团队算法在跨域识别方面表现突出，在多元场景下均保持高准确率 [1] - 大赛数据集包含十万规模的人脸鉴伪图片，并引入由最新换脸技术生成的伪造样本，重点考察算法应对未知伪造手段的能力 [1] - 部分参赛队伍通过频域分析捕捉图片高频特征上的伪造痕迹，并结合统计特征差异设计针对性处理，显著提升识别效果 [2] 技术应用与未来展望 - 选手们的技术探索在真实业务中具有应用潜力，为深伪换脸检测提供了新的参考路径 [4] - 公司希望通过赛事持续推动创新探索，将优秀成果与业务场景结合，在动态图检测、跨场景泛化等方向持续迭代，构建金融安全防线 [4]

人工智能战略定位 - AI从辅助工具跃升为驱动社会变革的核心引擎 国务院出台《人工智能＋》行动意见推动技术与应用双向赋能 [1] - AI成为高质量发展的关键增量 核心价值体现在赋能 减负 提质 增效四个维度 [3] - 意见紧扣全球科技趋势 以战略性布局引领方向 科学性设计推动融合 指导性举措明确路径 及时性部署抢抓机遇 [4] 产业赋能应用 - AI拓展科学研究认知边界 如AlphaFold破解蛋白质折叠难题 支持科研范式转型加速创新成果转化 [3] - 智能制造领域车企通过AI维护系统将设备故障率降低20% 教育领域AI定制学习路径 医疗领域成为智能助手 [3] - AI通过自动化技术将人们从危险繁重工作中解放 创造智能化就业机会和工作方式 关注民生提振消费 [3] - 社会治理领域提升应急效率 生态治理领域实现实时监测模拟推演 推进治理能力精准提升 [4] 技术风险挑战 - 大模型存在黑箱特征 不可解释性导致决策逻辑难理解 鲁棒性不足易受对抗攻击 幻觉问题生成虚假内容 [6] - AI价值观是数据投射 训练数据偏见被模型放大 可能无意识传播与主流价值观相悖内容 影响社会和谐 [6] - 深度伪造技术生成以假乱真音视频 海量数据依赖导致隐私泄露风险 AI驱动网络攻击威胁个人安全与社会稳定 [6] 安全治理体系 - 构建四位一体协同治理体系 完善法律法规体系 构建多元公共安全体系 建设网络空间治理体系 建立智能应急体系 [8] - 技术安全方面开发可解释AI使决策透明化 通过对抗训练提升模型抗攻击能力 研发内容真实性检测算法 [9] - 伦理安全方面通过强化学习将中华传统文化与社会主义核心价值观嵌入模型 优化内容审核与行为约束技术 [9] - 应用安全方面制定数据保密网络安全供应链安全管理办法 引导安全行业数智转型 提升公众风险意识 [9] - 国家安全层面加快建设全维度安全测评体系 参与全球治理规则和技术标准制定 推动智能向上向善理念 [9]

AI谣言生成现状 - AI工具被广泛用于快速生成虚假信息 高中生仅用5分47秒即可生成逼真霸凌通报[3] - 个人造谣案例频发 福建网民使用AI剪辑汛情谣言视频 浙江男子生成虚假寻人启事 云南网民制作交通事故伤亡视频[4][5] - 形成灰色产业链 山东某传媒公司利用AI工具编造并发布300余万条谣言内容 抓获87名犯罪嫌疑人 查获近10万个违法违规账号[6] AI工具技术特征 - 技术门槛极低 开源模型爆发增长 云端服务便捷 操作界面极简 普通用户可轻松生成表面逼真的虚假信息[6] - 免费或低成本获取 通过看广告获得积分即可使用文生视频、图生视频等功能 能快速生成汛情、火灾等主题的虚假内容[7] - 部分平台存在限制 某些AI软件拒绝生成警情通报类内容 并提示警徽等元素使用存在法律限制[8] 检测与防御技术进展 - 现有检测算法对已知伪造数据识别准确率超95% 但面临未知技术迭代的泛化性挑战[10] - 研发团队正挖掘跨模型共性异常特征 推动检测范式从"针对单点技术"向"驱动于共性特征"转变[10] - 构建"检测-溯源-防御"治理技术体系 推进轻量化设备部署与对抗性防御技术[10] 行业治理体系构建 - 需形成四维共治体系 个人提升媒介素养 平台部署AI检测系统并实施生成内容强制标识 技术社区研发鉴伪模型 监管部门完善立法[9] - 法规建设持续推进 《人工智能生成合成内容标识办法》要求所有合法模型对生成内容添加水印[9] - 应对未来风险 需重点关注深度伪造技术与社会工程学结合驱动的自动化攻击[10] 青少年媒介素养教育 - 全国45.7%青少年无法识别AI谣言 55.9%未成年人通过短视频获取新闻[13] - 长三角地区形成媒介素养联盟种子校 通过新闻争霸赛、融媒体中心建设等措施提升学生鉴别能力[13] - 2025年新学年启动跨省媒介素养联动计划 覆盖AIGC伦理、社会热点调查等领域 拟构建全国性教育体系[14]

AI造谣现象与案例 - 福州永泰网民王某某通过AI工具剪辑视频散布汛情谣言，扰乱社会秩序并误导防汛工作，已被行政处罚[2][5] - 浙江嘉兴一男子使用AI生成虚假"寻人启事"称女儿被抱走，经核查其未婚未育，已被行政拘留[6] - 云南赵某某利用AI制作交通事故伤亡视频并标注"大理州"造成恐慌，经核实为虚假警情，已被行政处罚[6] - 山东枣庄某传媒公司购买10万个实名账号，利用AI批量生产300余万条谣言视频图文，87名犯罪嫌疑人被抓获[8] AI造谣技术特点 - 免费AI工具可快速生成汛情、火灾等敏感主题虚假文案，5分47秒即可伪造包含法律条款的"警情通报"[5][10] - 普通景区照片经AI处理可变成"桥梁断裂事故"视频，文字生成视频工具能拼接新闻画面制造虚假汛情场景[10][12] - AI生成虚假内容技术门槛极低，开源模型爆发式增长和云端服务便捷化加剧了技术大众化趋势[8][12] 行业应对措施 - 暨南大学夏志华团队研发视觉深度伪造检测系统，通过挖掘跨模型共性异常特征提升泛化能力，现有算法对已知伪造识别准确率超95%[12][13][14] - 2025年3月出台《人工智能生成合成内容标识办法》要求合法模型必须对生成内容添加水印[13] - 构建"个人-平台-技术-监管"四维共治体系，包括平台部署AI检测系统、技术社区研发鉴伪模型、监管部门完善立法等[13] 教育领域行动 - 上海高中生实验显示45.7%青少年无法识别AI谣言，55.9%未成年人通过短视频获取新闻[15] - 长三角形成媒介素养联盟种子校，通过新闻争霸赛、融媒体中心建设等提升学生媒介素养[18] - 2025年将启动跨省媒介素养联动计划，覆盖AIGC伦理、社会热点调查等领域，探索全国性教育体系[18][19]

网络安全政策调整 - 美国总统特朗普6月6日的网络安全行政命令取消了加强数字身份验证的措施 [1] - 该命令未提供任何替代的机构指导 [1] - 企业面临失去与联邦政府在打击网络犯罪方面的长期合作关系的风险 [1] 监管机构职能削弱 - 网络安全基础设施安全局（CISA）等机构对软件提供商网络合规性的监督被削弱 [1] - 该命令旨在削减"未经证实且繁琐"的要求 [1] 安全威胁加剧 - 在人工智能（AI）深度伪造时代，与身份相关的安全威胁愈演愈烈 [1] - 深度伪造技术已被用来针对企业，诱使员工分享机密信息或转移巨额资金 [1]