AI造假
搜索文档
女演员温峥嵘被AI盗播带货,直播间质问反被拉黑,平台该担责吗?
新浪财经· 2025-11-10 15:22
事件概述 - 女演员温峥嵘的AI虚拟形象被不法商家盗用于直播带货 其本人进入直播间质问后遭拉黑 [2] 平台责任与挑战 - 平台需承担事前审核责任 应利用技术手段如数字水印识别AI内容或对明星直播间进行身份核验以防范假账号 [4] - 平台在接到举报后须立即行动 《电子商务法》规定需在24小时内删除侵权内容 否则需对扩大的损害承担责任 [4] - AI造假具有隐蔽性 商家常将标识隐藏或于凌晨时段开播 增加了平台审核与维权的难度 [5] - 部分平台已下架上万条侵权视频 但事件暴露出平台审核存在漏洞 [4] 法律依据与维权路径 - 《民法典》明确禁止利用AI伪造他人肖像及盗用、假冒他人姓名 为明星维权提供了法律基础 [3][4] - 权利人有权通知网络服务提供者采取删除、屏蔽等措施 若平台不配合或商家继续侵权 可走法律途径起诉侵犯肖像权、姓名权乃至名誉权 [2][3] - 监管部门需加大处罚力度 例如北京海淀区曾对冒用央视主持人名义的公司进行处罚 此类案例具有警示作用 [4] - 温峥嵘团队已采取法律行动 发出律师函并一天内举报50个假账号 [3] 行业影响与行动呼吁 - AI盗播事件不仅侵犯明星权益 还可能导致消费者上当受骗 亟待法律和监管介入解决 [2] - 应对AI技术滥用的挑战 需要明星团队加强巡查、平台升级技术进行主动监管 形成集体行动予以遏制 [5] - 根治乱象需明星、平台和监管三方联动 通过责任共享机制保护明星权益并避免消费者受损 [6]
温峥嵘被AI温峥嵘拉黑:AI发展莫要助长“以假乱真”
扬子晚报网· 2025-11-06 14:30
事件概述 - 演员温峥嵘自曝遭遇AI盗播,其本人进入冒用其形象的带货直播间质问后被秒拉黑 [1] - 近期同一时段出现多个使用“温峥嵘”形象带货的直播间,妆发不同但话术一致,导致“很难证明我是我”的困境 [1] - 评论区显示消费者难以辨别直播间真伪,对“xx直播间是温峥嵘吗”及所购商品是否为明星推荐产生困惑 [1] 行业影响与风险 - AI盗播侵犯公众人物肖像权与声音权,误导消费者对商业合作的认知,侵权内容批量生成且账号频繁更换导致维权取证成本高昂 [2] - 消费者基于对明星的信任下单,可能购买到假货,且因责任主体难追溯而维权无门 [2] - 此类乱象正在透支整个数字生态的信任,使正规直播与合法代言受质疑,形成劣币驱逐良币的恶性循环 [2] 监管与技术应对 - 2023年9月施行的《人工智能生成合成内容标识办法》明确要求AI生成内容必须添加显著标识 [2] - 现实中部分商家将标识藏于角落或技术遮挡,平台审核滞后使侵权内容有机可乘,监管与技术落地存在差距 [2] - 破解困局需政策、技术与平台合力:监管应细化标识标准与处罚力度,技术可推广区块链数字身份证与隐式水印,平台需升级多模态审核系统并对未合规内容从严处置 [2] 核心观点 - 技术进步让“以假乱真”变得容易,需用规则与责任划清边界,让AI生成内容“亮明身份”并让侵权行为付出代价 [3] - 规范是AI产业行稳致远的保障,唯有在真实与信任基础上,技术创新才能惠及社会并实现高质量发展 [3]
专访雅为科技杨乔雅:当AI开始“造谣”,技术被“投毒”,谁来监督
搜狐财经· 2025-11-02 21:19
AI生成内容的“幻觉”问题与风险 - AI“造假”在技术上被称为“幻觉”,是模型基于概率预测生成文本时的固有现象,当训练数据有问题或信息不足时,模型会为了生成流畅答案而“编故事” [3] - 当拥有亿级用户的平台其AI产品频繁出现事实性错误时,问题超越了技术范畴,可能误导公众认知并干扰市场秩序,演变为公共信任危机 [3] - 比无意识“造假”更危险的是该能力被有意识地“武器化”,例如通过“数据投毒”进行不对称的灰色战争 [3] “数据投毒”的攻击模式与影响 - 攻击者无需高深技术,只需有组织地在论坛、内容农场等网络角落大规模散布针对特定公司或个人的精心包装的虚假信息,这些信息会被AI爬虫捕获成为训练“养料” [3] - 当用户查询相关对象时,AI会将这些“毒药”包装成看似客观的答案输出,形成“借刀杀人”的攻击模式,攻击者隐藏于暗处,AI成为散布谣言的帮凶 [4] - 受害者澄清一条谣言的成本远高于制造一万条谣言,导致其百口莫辩 [5] 企业对AI真实性的责任与应对措施 - 企业是保障AI真实性的“第一责任人”,需将“真实性”提升至与“流畅性”同等的战略高度 [6] - 技术上需引入“溯源”和“事实核查”机制,AI给出答案时应附带可验证的权威来源并标明置信度,内部建立动态“事实知识库”对高风险话题进行实时校准 [6] - 数据上需建立更严格的数据清洗管道,对数据源进行可信度评级并优先采用权威信源,同时开发能监测“数据投毒”的算法以主动识别和清除恶意信息 [6] - 流程上需设立透明且响应迅速的举报通道,一旦证实存在恶意投毒,不仅要紧急修复模型,还应发布公告甚至为受害者提供数据证据以协助法律维权 [6] 用户应对AI不实信息的策略 - 用户需从“信息的被动接收者”转变为“批判性的信息消费者”,交叉验证是黄金法则,不将AI答案当作最终结论而是信息探索的起点,并去权威媒体、官方网站等多方求证 [7] - 用户应善用辟谣工具和事实核查网站,发现AI生成不实信息时立即通过官方渠道反馈,每一次有效举报都相当于为公共AI模型“接种疫苗” [8] 监管、立法与社会协同治理 - 监管与立法必须跑赢技术发展,尽快为AI生成内容划定法律红线,明确“利用AI或数据投毒进行商业诋毁”的行为性质与严厉罚则,大幅提高违法成本 [9] - 应推动行业建立AI可信度认证体系,对模型的公平性、透明度和可问责性提出硬性要求 [10] - 网信、市场监管等部门需协同治理,与AI企业建立信息共享机制,形成打击“数据投毒”的合力 [11] - 社会与媒体应扮演“探照灯”和“瞭望塔”角色,通过持续的舆论监督迫使企业不敢懈怠,推动行业健康发展 [11]
管住AI造假,留住社会信任
科技日报· 2025-10-17 09:09
案件概述 - 北京市场监管部门查处首例利用AI技术进行虚假广告宣传的案件,涉事公司在其直播中宣称其普通食品具备疾病治疗功能[1] - 直播中出现了利用AI技术伪造生成的知名央视主持人形象,营造“权威背书”假象[1] AI技术滥用风险 - AI技术日益成熟,“AI换脸”技术门槛大幅降低,仅凭一张图片或一段声音即可生成高度逼真伪造视频[1] - 不法商家利用AI深度伪造科学家、医生、运动员、演员等知名人士面容和声音进行虚假宣传[1] - 此类行为侵犯被仿冒者权益,对公众实施欺诈,并蚕食社会信任基础[1] 监管应对与行业责任 - 我国《人工智能生成内容标识办法》于今年9月正式施行,要求AI生成内容必须添加显式标识并鼓励添加数字水印[1] - 内容传播平台、AI生成服务平台和应用程序分发平台需优化AI识别技术,加强鉴伪追溯能力,落实责任义务[2] - 监管部门应加大执法力度,对违规平台和个人依法查处,形成震慑[1]
网信、公安重点整治AI造假、挑动负面情绪等乱象
中国新闻网· 2025-10-10 13:58
网络谣言主要类型 - 9月网络谣言主要集中在公共政策、灾情汛情、社会民生等领域[1] - 存在伪造政策文件行为,例如编造“2025年国家薪资补贴申领认证通知”以套取实名信息实施诈骗[1] - 存在虚构悲情故事行为,例如策划拍摄“大凉山姑娘被拐24年后回到亲人身边”的视频博取关注[2] - 存在滥用AI工具编造虚假灾情行为,例如用AI技术拼凑生成“郑州9月16日遭大暴雨”的虚假视频[2] 具体谣言案例与手段 - 不法分子冒用农业农村部名义,伪造部委公文,推出“中国三农”投资理财APP进行非法集资[1] - 有自媒体发布“广东或遭遇人类最大台风灾害”的信息夸大事实,而中央气象台数据表明“桦加沙”远未达“史上最强台风”等级[2] - 社交平台出现多张“深交所门前牛雕塑被拴”的图片,被证实系AI合成[2] - 有人以“扩大内需”“国家项目”为噱头,发布“参与国家项目获荣誉证书和政绩补贴”等不实信息[1] 监管行动与整治重点 - 中央网信办部署开展“清朗·整治恶意挑动负面情绪问题”专项行动,重点整治挑动群体极端对立情绪、宣扬恐慌焦虑等问题[3] - 网信部门针对微博、快手、今日头条、UC等平台未落实信息内容管理主体责任依法查处[3] - 公安机关依法打击造谣传谣违法行为,相关造谣传谣者已被依法处罚[3]
伪造官方项目 夸大灾情信息 演绎悲情剧本 网信、公安重点整治AI造假、挑动负面情绪等乱象
央视网· 2025-10-10 13:28
网络谣言主要领域 - 9月网络谣言主要集中在公共政策、灾情汛情和社会民生等领域 [1] - 谣言形式包括伪造政策文件、虚构悲情故事以及滥用AI工具编造虚假灾情 [1] 公共政策类谣言案例 - 不法分子编造"2025年国家薪资补贴申领认证通知"进行诈骗 [1] - 冒用农业农村部名义的"中国三农"投资理财APP开展非法集资活动 [1] - 以"扩大内需"和"国家项目"为噱头发布不实信息侵害群众财产安全 [1] 灾情汛情类谣言案例 - 自媒体发布"广东或遭遇人类最大台风灾害"的夸大信息 [1] - 社交平台出现AI合成的"深交所门前牛雕塑被拴"等虚假图片 [1] - 河南暴雨期间有账号使用AI技术拼凑生成"郑州9月16日遭大暴雨"的虚假视频 [1] 社会民生类谣言案例 - 自媒体策划拍摄"大凉山姑娘被拐24年后回到亲人身边"的虚假视频 [2] - 编造"中国籍女子嫁到外国贫民窟求助回国"的苦情戏码吸引关注 [2] 监管与整治行动 - 中央网信办部署开展"清朗·整治恶意挑动负面情绪问题"专项行动 [2] - 网信部门依法查处微博、快手、今日头条、UC等平台未落实信息内容管理主体责任 [2] - 公安机关依法打击造谣传谣违法行为 相关造谣传谣者已被依法处罚 [2]
用AI伪造门店照片,“假门面”带不来真流量
新京报· 2025-09-15 17:44
AI技术在外卖平台的应用与问题 - 外卖平台商家利用AI生成技术制造虚假门面图片,包括醒目招牌、精良装修和坐满食客的烟火气,以营造人气爆棚的假象 [1] - AI生成图片操作简单且成本极低,商家使用AI伪造网红门面旨在误导和欺骗消费者,以达到引流和促进成交的目的 [1] - 记者实地探访发现,标注为堂食店的实际地址是狭小通道内的数十家外卖小作坊,无一家真实堂食店,证实商家使用AI造假欺骗消费者 [1] 对消费者的影响 - 消费者被AI制造的不实图片误导后,知情权和选择权受到侵害,同时消费成本增加 [2] - 消费者可能因虚假门面图被误导而遭遇食品安全问题 [2] 平台治理与监管现状 - 仅个别外卖平台明确回应不允许商家使用AI生成门面图行为,多数平台未否定这一做法 [3] - 尽管部分平台已成立专项小组或治理团队并制定更严格的商家管理规范,但因审核制度及效果不同,AI门头图仍不时出现 [3] - 外卖平台和电商平台需从技术角度研发反AI造假工具,平台需落实主体责任,监管者需强化监管责任 [3] 解决方案方向 - 解决AI造假门面问题需要平台、监管部门等多方共同发力 [4]
如何不让AI成为造假者的利器?
中国经济网· 2025-08-29 17:47
AI克隆声音侵权现象 - AI克隆声音技术被部分自媒体博主用于推广农产品和24小时直播互动 成为流量获取手段 [1] - 利用技术工具仿冒他人声音带货超出正常商业营销范畴 属于违法行为 [1] - 民法典第一千零二十三条规定禁止通过信息技术手段伪造方式侵害他人声音权益 [1] 平台治理与技术应对 - 社交媒体平台已升级AI内容识别系统 要求AI生成作品进行明确标识 [1] - 存在从业者刻意规避平台强制标注机制 甚至公开销售绕过AI打标经验 [1] - 平台需开发高效内容检测工具 结合人工审核并健全辟谣机制 及时下架不实内容 [1] 监管政策与实施 - 国家网信办等四部门联合发布《人工智能生成合成内容标识办法》 将于9月1日正式施行 [2] - 新规要求所有人工智能生成合成内容必须进行标识 [2] - 监管存在一定局限性和滞后性 需持续完善 [2] 消费者应对策略 - 消费者需保持辨别真伪的独立思考能力 对违背常识信息保持警惕 [2] - 建议通过阅读经典文章替代短视频消费 提升信息鉴别能力 [2] - 对未经证实的网络爆料需保持冷静态度 这是网络社会生存发展的基础技能 [2] 技术发展趋势 - AI造假与打假将呈现长期博弈态势 被视为猫鼠游戏式的持久战 [2] - 监测技术需与时俱进持续升级 当前仍存在大量未标注AI内容 [1] - 技术治理需通过开发更高效检测工具与人工审核相结合实现 [1]
“完美候选人”可能啥都不会?AI造假攻陷远程面试
36氪· 2025-08-15 20:10
AI驱动的招聘欺诈趋势 - Gartner预测到2028年全球约四分之一候选人资料可能为假[2][6] - 6%的求职者承认在面试中通过冒充或替考等手段作弊[2] - AI技术显著降低造假门槛 包括深度伪造影像、语音合成和实时应答的聊天机器人[3][5] 伪造手段与技术特征 - 伪造目标集中于远程岗位、技术岗和高薪职位[3] - 语音克隆系统可模拟英语母语者 深度伪造视频呈现"训练有素"的假人形象[5] - 地下"面试作弊链"已形成规模化供给 提供假身份、假技能和假经历包装服务[5] 企业应对措施 - 谷歌、思科、麦肯锡等公司在关键环节恢复线下面试以核验候选人真实性[6] - 远程面试风险抬升 线下面试重新成为信任保障机制[6] - 企业面临AI伪造候选人挑战 需将验证环节前移并加强常态化审核[6] 行业影响与挑战 - HR需要对抗拟人化、智能化和情感化的AI假象[6] - 招聘行业面临信任危机 需适应技术变革带来的验证方式革新[6] - AI造假可能导致"完美求职者实际无能力"的雇佣风险[6]
AI图像水印失守!开源工具5分钟内抹除所有水印
量子位· 2025-08-14 12:08
AI图像水印技术现状 - 当前主流AI图像水印技术采用隐性水印方式,通过修改频谱幅度嵌入水印,对裁剪、模糊等操作具有鲁棒性[8][10][13] - 谷歌SynthID将水印嵌入图像低频部分(如平滑区域),而高频部分(如细节纹理)因变化剧烈不适合作为载体[15][16][17] - 微软研究显示人类识别AI图像成功率仅62%,凸显水印技术的必要性[33][34] UnMarker技术突破 - 新型去水印工具UnMarker可在5分钟内破解几乎所有AI图像水印,包括完全破解HiDDeN和79%破解SynthID[1][2][27] - 采用频谱攻击策略:直接修改全图频谱幅度而非定位水印位置,实现57%-100%的水印去除率[22][23][25][26] - 支持消费级显卡(如RTX 5090)本地部署,大幅降低使用门槛[5][30][31] 技术原理与效果 - 隐性水印依赖频谱幅度分布模式相似性,而频谱相位因图像差异大不适合作为载体[9][11][13] - 去水印过程会轻微改变图像质量(如头发细节),但裁剪可优化效果[18][29] - 对StegaStamp等新型水印仍能去除60%,展现强通用性[21][28] 行业影响 - 欧盟《人工智能法案》推动的水印技术因UnMarker出现面临可靠性挑战[35][36] - 现有水印检测器需定制化开发,而UnMarker实现通用"通吃"方案[20][21] - 开源发布加速技术扩散,可能重塑AI内容认证体系[5][6]