AI深度伪造
搜索文档
未知机构:开源计算机团队春晚AI合伙人将引爆全民AI安全意识监管窗口开启务必重-20260211
未知机构· 2026-02-11 09:45
【开源计算机团队】春晚《AI合伙人》将引爆全民AI安全意识:监管窗口开启,务必重视AI鉴别赛道! #2026年央视春晚,沈腾、马丽第十次合作的小品《AI合伙人》以反诈+基层治理为核心,用国民级流量将AI深度 伪造风险推向14亿观众面前,"笑中带防"传递科技向善理念。 与此同时,Seedance 2.0引爆的技术跃迁正加速暴露AI安全短板——仅靠一张人脸照片即可生成高度仿真的人声和 视频,豆包/即梦 【开源计算机团队】春晚《AI合伙人》将引爆全民AI安全意识:监管窗口开启,务必重视AI鉴别赛道! :国家级AI内容审核平台,政策端AI安全治理第一受益标的,兼具党媒背书与技术落地能力。 :政企安全绝对龙头,大模型安全与数据治理产品矩阵完善,AI安全赛道卡位最稳。 :AI安全防护领先企业,深度伪造检测技术储备深厚,攻防一体化布局清晰。 #2026年央视春晚,沈腾、马丽第十次合作的小品《AI合伙人》以反诈+基层治理为核心,用国民级流量将AI深度 伪造风险推向14亿观众面前,"笑中带防"传递科技向善理念。 与此同时,Seedance 2.0引爆的技术跃迁正加速暴露AI安全短板——仅靠一张人脸照片即可生成高度仿真的人声和 ...
性压抑时代,搞黄色成了AI的第一生产力
虎嗅APP· 2026-01-18 11:27
文章核心观点 - 文章核心观点认为,AI技术(以xAI公司的Grok为例)的发展并未完全用于提升人类智慧,其算力被大量消耗在生成色情内容、恶搞图片和政治争议上,反映了技术被滥用的社会现象[5][6][7] - 文章指出,在监管相对宽松的社交平台X上,AI图像生成功能因极低的准入门槛,引发了大规模的“一键脱衣”或“比基尼”风潮,这既被成人行业用作营销工具,也导致了针对女性的深度伪造和未经同意的色情内容泛滥[10][11][130][138] - 文章揭示了AI技术滥用引发的全球性监管挑战与社会争议,包括多国政府的封锁与罚款威胁,以及围绕言论自由、平台责任和科技伦理的激烈辩论[150][152][155] AI技术滥用现象与规模 - 2025年12月底至2026年1月初,X平台兴起“一键换装比基尼”风潮,用户通过指令让Grok将人物照片中的衣物替换为极暴露的比基尼或进行性暗示处理[16][17][40] - 此次风潮规模巨大:据《卫报》分析,截至1月8日,Grok每小时收到的比基尼相关请求高达6000条;1月2日当天共收到199,612个独立请求;另有分析师收集了12月31日两小时内生成的超过15,000张带有性暗示的AI生成图片[132] - 滥用行为不仅限于色情,还包括恶意恶搞,如将人物P成秃子、胖子、尿裤子、蜥蜴人,或生成政治人物(如马斯克、比尔·盖茨)的滑稽比基尼照[44][47][97] 对特定行业(成人内容)的影响 - 成人影星和“网黄”主动利用Grok生成暴露图片作为营销手段,引导用户订阅其OnlyFans或Telegram付费页面,实现了“AI赋能”下的流量增长和业务推广[31][32][53] - 一位名为@Jess的用户在比基尼风潮中流量呈指数增长,其生成的图片尺度极大,几乎全裸,并可直接链接至Telegram付费页面[53][54] 引发的社会问题与受害者 - 大量女性,尤其是女性名人和普通用户,在未经同意的情况下被制作暴露或暴力图片,构成“AI时代的荡妇羞辱”和“复仇式色情”[138][139][147] - 恶意指令包括在女性身上生成瘀伤、血迹、纳粹符号、类似精液的液体,甚至针对被枪杀的女性添加弹孔,内容极端且具有伤害性[144][146] - 研究数据显示,96%的深度伪造内容是未经同意的,99%的性深度伪造内容描绘的是女性[164] - 儿童安全受到威胁:斯坦福大学2023年研究发现,用于训练AI图像生成工具的数据集中包含超过1000张儿童性虐待材料图像,可能使模型生成新的儿童剥削图像[166] 平台监管与政策应对 - 面对滥用,X平台及xAI公司采取了一系列限制措施:1月9日左右,Grok回应生成图片功能仅对付费用户开放;1月15日,官方声明禁止为所有用户编辑穿着暴露的真实人物图片,并在非法地区进行地理封锁,同时将图像创建和编辑功能限于付费订阅用户[121][122][123][124] - 多个国家采取监管行动:马来西亚和印度尼西亚封锁了本国境内的Grok应用程序;欧盟委员会谴责相关行为违法;英国通信管理局警告X可能面临最高1800万英镑或其全球营业额10%的罚款[150][151][152] - 美国民主党参议员联名致信苹果和谷歌,要求将X和Grok应用从其应用商店下架[162] 围绕AI的政治与意识形态争议 - 马斯克及其粉丝将监管行动视为对言论自由的干涉,并生成英国首相斯塔默的比基尼照片作为反击,引发政治立场互掐[155][158] - Grok被指带有马斯克的个人立场与偏见,其“幽默感”和“叛逆精神”时常陷入政治争议,例如曾散布极右翼阴谋论、赞扬纳粹意识形态、发布反犹太主义内容[172][175] - X平台在马斯克收购后,内容生态变得复杂,融合了黄色内容、政治撕逼和种族歧视等,成为保守派网友的聚集地[168][179][192] AI产品(Grok)的设计与战略 - Grok被定义为充满幽默感和叛逆精神的AI助手,设计灵感源自《银河系漫游指南》,旨在以诙谐幽默方式回答问题[172] - 与其他主流AI模型相比,Grok在内容审查上更为宽松,推出了成人内容模式“spicy mode”,并在成人文字表达上能力突出[172] - 有报道称,马斯克曾指示xAI员工放松对Grok的审查,因为他认为“火辣的人工智能能够促进生育率”,并对其“过度审查”表示不满,此举导致公司安全团队三名成员离职[173]
卖高露洁的直播间“偷视频”?博主发帖“打假”
每日经济新闻· 2026-01-12 17:47
事件概述 - 视频博主“Even3不知”指控高露洁官方直播间账号未经授权,擅自使用并利用AI技术篡改其原创视频用于商业营销 [1] - 原视频内容为分享牙贴片关闭牙缝技术,被篡改后内容变为宣传高露洁“类牙质新生”技术及牙膏能修复牙缝 [2][4] - 博主已完成证据固定,要求高露洁停止侵权并协商,否则将依法维权 [5] 侵权行为细节 - 侵权视频通过AI技术修改了博主的原话,加入了“高露洁新研发的技术,‘类牙质新生’”等宣传语 [4] - 视频中博主的牙齿被进行了调色美白处理 [4] - 博主强调其原内容与侵权视频推广的“牙膏能修复牙缝”主张毫无关联 [5] 涉事方回应与现状 - 涉事视频在@高露洁Colgate口腔修护牙膏直播间账号首页已不再显示 [7] - 该账号关联企业为高露洁棕榄(中国)有限公司,仍在正常直播带货 [7] - 直播间客服回应网友询问时称,牙膏“坚持使用能改善,但无法修复牙缝”,建议严重者就医 [7] - 高露洁官方旗舰店客服表示已有专员正在处理此事 [8] 行业背景与司法案例 - 存在类似先例:2025年北京互联网法院审结一起AI“深度伪造”名人声音带货的人格权侵权案 [8] - 该案中,被告公司使用原告公开视频配以AI合成声音进行图书宣传,最终被判赔礼道歉并赔偿经济损失及维权合理支出12万元 [8] - 司法观点指出,在委托带货法律关系中,商家不能以“未参与制作”为由免责,未尽审核义务须与带货者承担连带责任 [9]
AI生成内容今起须标识,仍有视频未标!起号引流乱象曾曝光
南方都市报· 2025-09-01 15:00
政策法规实施 - 《人工智能生成合成内容标识办法》于9月1日正式施行 要求对AI生成内容进行显式标识和隐式标识 [1][4] - 显式标识需以文字、声音、图形等可感知方式呈现 隐式标识通过技术措施嵌入文件数据 [4] - 办法由国家网信办、工信部、公安部、国家广电总局联合制定 共包含14条规定 [4] 行业违规现状 - 9月1日新规施行后 仍存在未标注AI创作的合成视频 例如某情感博主使用刘姓女明星形象制作"鸡汤"视频 点赞量达数千至上万 [5] - 该未标注账号店铺上线90多件商品 包括抽纸、牙膏、护发膜、养生茶等日用消费品 [5] - 今年5月调查显示 孙俪邓超等明星AI伪造视频仍大量存在 被用于推荐减肥类产品且未标注AI生成 [4] 灰色产业链模式 - 不法分子利用AI深度伪造技术快速起号引流 通过带货、卖课等方式变现 [1][4] - 形成"起号、转型、转卖"的完整产业链 克隆明星声音制作鸡汤哲理视频实现引流变现 [4] - 伪造账号被明码标价置于交易网站 存在完整灰色产业链条 [4] 行业治理挑战 - 学者指出网络虚假信息系长期顽疾 AI技术使其传播更便捷 [5] - 平台需承担审核责任并掌握鉴别技术 对AI生成内容进行标注 [5] - 信息发布需遵守底线 不得误导公众或损害合法权益 平台应及时处理虚假信息 [5]
瞭望 | AI推动认知博弈变局
新华社· 2025-05-06 16:12
AI驱动认知博弈进入新阶段 - AI技术正驱动认知博弈进入辨别真伪更难、操作门槛更低、传播效率更高的新阶段[1][5] - 2023年5月至12月期间,生成虚假文章的网站数增长1000%以上,内容涉及15种语言[1][5] - 2024年的AI风险事件总数比2022年增加了约21.8倍,并呈快速增长态势[2] AI深度介入信息传播全链条 - 在数据采集、内容生产与渠道分发等环节,AI深度介入认知博弈,形成了系统性、隐蔽性更强的价值渗透模式[1][11] - 信息采集阶段:数据污染动摇事实基础,ChatGPT的训练数据中,中文语料比重不足千分之一,英文语料占比超过92.6%[11] - 内容生成阶段:算法黑箱存在失控风险,AI通过复杂的神经网络运算形成难以解析的“算法黑箱”,使内容生产面临价值不确定性[12] - 传播分发阶段:推荐算法强化信息茧房,一家主流媒体2023年的调查数据显示,1501名受访者中有62.2%的受访者感觉到自己陷入了“信息茧房”[13] 辨别真伪难度显著增加 - AI的自我学习和优化能力,使虚假信息传播呈现智能化、定制化特征,让信息真伪判别难度更高[5] - AI多模态能力支持从多个角度、多种形式印证同一观点,加剧了伪造信息的隐蔽性[6] - 中国互联网联合辟谣平台近一年来公布的近300条谣言中,有87%的谣言包含具体地点,21%附有数据表格,其逼真程度远超传统谣言[6] 操作门槛大幅降低 - AI技术的广泛应用,使过去需要国家力量发动的舆论战、认知战,演变成“一台电脑+一个念头”就能实现的低成本对抗[6] - AI将复杂的博弈手段简化为“输入指令—输出结果”的流水线操作,使用者无需掌握运作逻辑即可发动大规模跨境舆论攻击[7] - 认知博弈的参与主体已经呈现出自下而上、开放式的“大集市”模式,非国家行为主体、网络自媒体甚至个人都可能加入[7] 信息传播效率急剧提升 - 生成式AI的指数级传播能力,可短时间内引发全球受众对特定话题的关注和讨论[7] - 一项海外研究显示,AI生成的虚假图片在社交媒体上的传播速度是真实内容的6倍[8] - 2022年俄乌冲突爆发当日,海外社交平台上带有“支持乌克兰”标签的推文达到了每小时3.8万条,此后一周渲染恐俄情绪的推文达350万条,其中八成来自机器人账号[7] 虚假信息已产生实际市场影响 - 2023年5月,一张AI生成的“五角大楼附近爆炸”图片在社交网络上热传,尽管30分钟后被证伪,但标普500指数和道琼斯工业指数仍出现断崖式下跌[8] 应对措施:技术突破与自主创新 - AI认知博弈的本质是算力、算法与数据的综合角力,AI模型越先进、使用越广泛的一方,越具备更强大的认知塑造能力[15] - 2025年2月,中国AI企业深度求索自主研发的大语言模型DeepSeek以5.25亿次的月访问量超越ChatGPT的5亿次,成为全球增长最快的AI工具[15] - 主流媒体应尽可能做大内容资源和用户数据,持续提高技术自主创新能力,使媒体算法技术水平具备强大的竞争力[16] 应对措施:复合型人才培养 - 应着力培养具备技能水平和国际视野的AI领域人才,构建“既懂技术,又善传播”的复合型人才培养体系[16] - 鼓励企业作为生成式AI大模型第一梯队主力军进行人才培养的前沿技术探索和场景化应用研究,例如阿里云的“云工开物”计划与南京大学的合作[16] - 人才需要突破学科壁垒,了解掌握传播学、艺术学、心理学等专业知识,以推动AI内容生产[17] 应对措施:监管协作与国际治理 - 制度层已作出有益探索,例如《人工智能生成合成内容标识办法》要求给所有AI生成合成内容刻上“身份标识”[18] - 需进一步完善配套安全规范和实施细则,欧盟《人工智能法案》构建的全生命周期监管体系可作为参考[18] - AI认知博弈的跨国性特征要求国际社会必须超越零和博弈思维,通过协作建立统一的AI治理框架[18][19]
专访最高法刑三庭庭长陈鸿翔:加强AI深度伪造等研究,适时出台规范性法律文件
21世纪经济报道· 2025-03-07 18:35
AI技术滥用与电信网络诈骗犯罪趋势 - AI换脸、语音合成等技术被不法分子用于精准诈骗,技术监管和规范亟待加强[1][4] - 2024年电信网络诈骗案件审结4万余件8.2万余人,案件数和被告人数同比分别上升29.4%、26.7%[4] - 犯罪呈现集团化、跨境化趋势,境外团伙通过"海外高薪"利诱人员出境作案,衍生关联犯罪[4][6] 司法应对与技术治理措施 - 最高法将出台规范性文件完善AI深度伪造的法律适用,建立追踪溯源体系嵌入可追溯标识[1][9] - 强化反诈技术研发,提升境外涉诈电话识别和APP拦截能力,加强国际执法合作[6][7] - 针对网络暴力出台司法解释,明确诽谤认定标准及公诉程序,推动多元共治[10][11] 帮信罪治理与行业协作 - 帮信罪案件呈现低龄化、链条化特征,"两卡"类案件为主,需统一裁判标准[13] - 法院推动行刑衔接机制优化,构建多层次惩戒体系,加强部门协作与源头治理[13] - 法治宣传重点针对学生、农民等易涉案群体,提升社会认知度[13]