AI技术滥用
搜索文档
流浪汉闯家中?AI整蛊图吓坏小区
南方都市报· 2025-11-11 07:06
事件概述 - 广州番禺一小区业主群因一张AI生成的“流浪汉闯入家门”图片引发恐慌,后证实为一名12岁孩子使用AI工具制作的整蛊行为[2][3] - 类似AI整蛊事件在安徽铜陵等地亦有发生,有案例导致警方连夜出警,被批评为浪费公共资源[3] - 该整蛊风潮起源于海外社交媒体,并在国内短视频平台传播,配套提供AI制作教程,用户可一键生成同款图片或视频[5] 技术应用与传播 - 用户只需在AI生图工具中上传一张家中照片并输入简单指令,几秒内即可生成高度逼真的“流浪汉闯入家中”画面,并可进一步生成视频[5] - 截至10月底,海外社交媒体TikTok上“homelessmanprank”标签下已累积超过1600段视频,最高一条获赞8万余次[5] - 国内部分短视频平台在相关视频下方直接接入生图工具入口,用户可一键跳转并选择同款模板进行制作[5] 社会影响与公共资源占用 - 此类AI整蛊图片和视频已在全球多国引发大量虚假报警,美国马萨诸塞州塞勒姆警方指出其导致多起911误报,斥之为愚蠢且危险[6] - 英国多地警方将此类虚假报警定性为危险且浪费宝贵资源[7] - 美国马里兰州一名女子因使用AI伪造“家中有入侵者”图片引发报警,导致8辆警车出动,该女子随后被逮捕并移送法院[7] 法律风险与行业警示 - 法律界人士指出,明知可能引发误判报警仍故意制作AI图片,属于间接故意,可能被认定为谎报警情,依据《治安管理处罚法》可处5至10日拘留及500元罚款[8] - 若伪造内容被进一步转发并造成社会恐慌,行为人可能需承担刑事责任,此前浙江嘉兴一男子因利用AI伪造寻人启事被依法行政拘留[8] - 有法律专家认为此类事件是AI技术滥用与治理滞后共同作用的产物,反映出公众对AI社会影响认知不足的问题[9]
事关网购,新华网连发三篇评论
财联社· 2025-11-09 21:35
线上购票平台行业乱象 - 线上购票平台存在精心设计的套路,例如在所谓的“最低价”机票中悄悄额外打包几十元的“退票保障”,使消费者实际支付高价 [2] - 平台套路包括默认勾选附加服务、用小字加注额外收费、付款后才弹出服务说明,消费者难以防范 [3] - 由于多数票务平台总部设在一线城市但业务覆盖全国,导致属地监管部门面临异地执法协调成本高、效率低的困境,许多纠纷最终只能调解了事 [3] 在线旅游平台定价干预行为 - 部分在线旅游平台擅自替商家调价,出现“一天被平台调价5次”的情况,剥夺商家定价自主权 [4] - 平台凭借流量垄断优势,以“算法优化”为借口,擅自上调售价赚取差价或强制商家低价促销引流,有些调价行为甚至不通知商家 [4] - 平台擅自调价的行为违背电子商务法关于不得利用技术手段对平台内经营者交易价格进行不合理限制的规定 [5] AI模特技术在电商行业的滥用 - 在“双11”购物节期间,有消费者发现购买的服饰类商品与AI模特展示严重不符,存在色差、材质悬殊等“货不对板”问题 [7] - 商家将AI模特技术异化为造假工具,利用其打造“零瑕疵”形象以刻意掩盖商品真实状态,构成对消费者知情权的侵犯 [7] - 自9月1日起施行的《人工智能生成合成内容标识办法》要求对AI生成内容进行显著标识,以遏制技术滥用 [8]
AI技术滥用调查:明星可被“一键换装”
每日经济新闻· 2025-10-14 21:40
AI技术滥用现状与受害者案例 - 高校导师、白领、保时捷女销冠、台球运动员等普通人与公众人物均成为AI换脸、克隆照、恶意造谣等技术滥用的受害者,面临诈骗、诽谤和个人形象被用于制作色情内容等风险 [1][3][4] - 电子科技大学人工智能专业研究生校外导师高翔在8月收到利用AI换脸技术篡改的不雅视频进行诈骗的短信 [3] - 白领小雅在9月18日发现其社交平台照片被用于AI生成“克隆”图片,担心被用于制作淫秽色情内容并已报警 [3] - 青岛保时捷中心女销冠牟女士在10月10日称遭遇AI恶意合成的虚假视频诽谤,并受到骚扰电话“轰炸”和大量不明微信好友申请 [3] - 台球运动员王思诺在8月30日称遭人恶意利用AI伪造淫秽视频并传播,台球女裁判王钟瑶亦透露在境外网站有涉及她的伪造淫秽视频传播 [4] 平台内容生态与流量乱象 - 社交平台上明星“AI换装”和“AI擦边”图片或视频泛滥,成为“流量密码”,部分账号专门发布此类内容吸粉,甚至有教程指导用户借此“起号变现” [1][5][6] - 某视频平台有近100个专门发布“AI美女”相关内容的账号,其中一个账号拥有近25万粉丝,其发布内容绝大多数为AI生成“擦边”视频 [5] - 一个名为“AI瑶瑶”的账号发布的“擦边”AI女性视频,点赞超过1.2万次,收藏、转发量合计超6000次 [5] - 抖音上一条转赞评近万次的教学视频评论区充满咨询用户,有用户开出高达5万元的学费 [6] - 近十位知名女星被批量“嫁接”到同一名舞者身上,营造“身穿同款古装、共跳一支热舞”的效果,侵犯肖像权 [6] - 百度图片是AI生成“擦边”内容的重灾区,图片内容涵盖“制服诱惑”、动漫风格及各类衣着暴露的AI女性形象 [6] AI应用实测结果与技术防线脆弱性 - 对12款文生图和文生视频AI应用的实测发现,5款应用(即梦、豆包、可灵、元宝和阶跃AI)可实现明星“一键换装”,9款应用(即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、元宝)能生成衣着暴露的“擦边”图片 [2][10][12] - 在“AI换装”测试中,阶跃AI几乎瞬间将原图人物白裙“抹除”并生成身着黑色蕾丝吊带的图片,元宝能将冬季大衣替换为白色内衣或把紧身连体衣改成吊带短裙,豆包除执行换装指令外还能将图片一键转换为视频 [11][12] - AI应用的内容审核防线脆弱,提示词修改得更加隐晦即可绕过限制,例如向豆包、可灵输入包含“卡戴珊身材”“酒店房间”“亚洲美女”等关键词组合后,应用便生成了多张穿着性感、姿势暧昧的女性自拍照 [13] - LiblibAI生成的图片尺度更大甚至露点,其官方公众号介绍模型/图像创作者已突破2000万,日均保持数百万级创作交互,用户自主训练的原创AI模型与工作流超50万,累计生成图片逾5亿张 [13] 平台治理措施与厂商回应 - 小红书虚假内容治理负责人介绍,虚假不实内容、虚假人设和AIGC造假是社区打击重点,2025年上半年共处置治理虚假低质AIGC笔记60万篇,平台正加大AIGC识别模型研发投入并对AIGC内容做主动标识 [7] - 抖音相关负责人表示,根据《抖音社区自律公约》,平台将对展示传播低俗、媚俗的内容采取限制措施,无论是否通过AI生成,违规内容均会予以处置 [7] - 平台通常会在AI生成图片上标注“疑似AI创作,请谨慎甄别”等提示语,但律师认为此类标注不能直接认定平台已尽到合理注意义务或自动豁免法律责任 [8] - 针对实测问题,星流AI和LiblibAI母公司北京奇点星宇科技有限公司称问题源于新模型上线初期识别精度波动,已完成紧急修复与优化,修复后星流AI生成的12张图片有4张显示包含敏感内容,LiblibAI也有一张图片生成失败 [14] - 豆包、即梦相关人士表示严格遵守国家法律法规,禁止生成色情违法内容,无界AI品牌合作总监称已采取多项防范措施,堆友背后的阿里巴巴表示将进行内部调查 [15] 技术挑战与法律监管环境 - AI应用内容防线脆弱的原因并非技术不能而是责任缺失,技术专家指出拦截违规内容没有根本性难度但需消耗一定算力,可在提示词识别和图片生成后再次检测两个环节进行拦截 [17] - 复旦大学计算机学院副教授郑骁庆建议为所有AI生成内容加上人眼不可见但平台系统可快速检测的“数字水印”,以便平台迅速识别违规内容来源并采取措施 [9] - 我国已有网络安全法、《生成式人工智能服务管理暂行办法》、《互联网信息服务深度合成管理规定》等多部法律法规对AI内容规范做出要求 [17] - 2023年9月最高人民法院、最高人民检察院、公安部联合发布的指导意见强调,利用“深度合成”等生成式人工智能技术发布违法信息等情形依法从重处罚 [18] - 现行法律为AI内容规范提供原则性框架,但面对“擦边”内容时仍存在界定标准模糊、审核义务边界不明确、技术标准缺失、法律责任认定难等灰色地带 [19]
新晨科技:10月13日召开董事会会议
每日经济新闻· 2025-10-13 18:08
公司治理与会议 - 公司于2025年10月13日召开第十一届第二十四次董事会会议,审议了《关于为全资子公司提供履约担保的议案》等文件 [1] - 会议召开方式为现场与通讯相结合 [1] 公司财务与业务构成 - 2025年1至6月份,公司营业收入构成为:银行业占比55.31%,非银金融机构占比17.22%,军工占比13.74%,政府及国有企事业单位占比11.77%,其他占比1.96% [1] - 截至发稿,公司市值为58亿元 [1]
永清环保:公司证券事务代表黄田辞职
每日经济新闻· 2025-10-13 08:02
公司人事变动 - 永清环保股份有限公司证券事务代表黄田女士因个人原因辞去职务 [1] - 辞职生效后,黄田女士将不再担任公司及子公司任何职务 [1]
AI技术滥用调查:“擦边”内容成流量密码,平台能拦却不拦?
虎嗅· 2025-10-12 18:08
AI技术滥用现状 - AI技术被滥用于制作不雅视频、克隆照片和恶意造谣,受害者包括高校导师、白领和公众人物等[1][6][8][9] - 社交平台上明星"AI换装"和"AI擦边"内容泛滥,成为流量密码,部分账号专门发布此类内容吸粉变现[2][10][11][13] 平台治理措施 - 小红书2025年上半年共处置治理虚假低质AIGC笔记60万篇,平台正加大AIGC识别模型研发投入并实施主动标识[24] - 抖音表示根据社区自律公约对低俗媚俗内容采取限制措施,无论是否通过AI生成[25] - 平台通常会在AI生成图片上标注"疑似AI创作,请谨慎甄别"等提示语,但律师认为仅标注不能自动豁免法律责任[27][28] AI应用实测结果 - 测试的12款AI应用中,5款(即梦、豆包、可灵、腾讯元宝和阶跃AI)可实现明星"一键换装"[32] - 9款应用(即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、腾讯元宝)能生成衣着暴露的"擦边"图片[40] - 部分应用如LiblibAI生成的图片尺度较大甚至露点,该平台模型创作者已突破两千万,累计生成图片逾5亿张[43] 企业回应与整改 - 星流AI和LiblibAI母公司承认新模型上线初期识别精度波动导致风险内容遗漏,已完成紧急修复优化[46][47] - 豆包和即梦表示严格遵守法律法规禁止生成色情内容,承认AI技术处于发展早期将持续改进[51] - 无界AI月独立设备数为13.5万台,公司称已采取多项防范措施[51] 技术防范瓶颈 - 专家指出拦截违规内容在技术上无根本难度,但需要消耗算力成本,可通过构建名人识别模型充当防火墙[55][56] - AI公司可对用户提示词进行合规改写,并对生成图片实施实时风险检测,但模型本身的大尺度内容漏过问题仍需解决[50] 法律监管环境 - 我国已出台多项法规包括《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等对AI内容进行规范[57][58] - 现行法律对"擦边"内容存在界定标准模糊、审核义务边界不明确等问题,导致灰色地带较多[60] - 2023年三部门联合指导意见强调利用深度合成技术发布违法信息的情形将依法从重处罚[59]
AI技术滥用调查:明星可被“一键换装”,“擦边”内容成流量密码,技术防线为何形同虚设?
每日经济新闻· 2025-10-12 18:07
AI技术滥用现状与受害者案例 - AI技术滥用导致高校导师、白领、保时捷女销冠及台球运动员等普通人与公众人物遭受诈骗、诽谤和"黄谣"等侵害[4] - 电子科技大学人工智能专业研究生校外导师高翔收到利用AI换脸技术篡改的不雅视频进行诈骗[4] - 白领小雅发现其社交平台照片被用于AI生成"克隆人"图像,担心被用于制作色情内容而报警[4] - 青岛保时捷中心女销冠牟女士遭遇AI恶意合成的虚假视频诽谤,并受到骚扰电话"轰炸"[4] - 台球运动员王思诺和裁判王钟瑶均遭遇AI伪造淫秽视频在境外网站传播[6] 社交平台AI违规内容泛滥现象 - 社交平台充斥明星"AI换装"和"AI擦边"内容,输入"AI写真""AI诱惑"等关键词可搜出大量违规内容[7] - 某视频平台有近百个"AI美女"账号,其中一个近25万粉丝账号主要发布AI生成"擦边"视频,单条视频点赞超1.2万次,收藏转发超6000次[7] - 平台存在教程指导用户利用AI"擦边"内容起号变现,宣称"流量大得吓人",有用户愿付5万元学费学习[8][12] - 小红书有博主传播AI生成"擦边"图片方法,附带详细提示词教程[21] - 百度图片存在大量"制服诱惑"等衣着暴露的AI女性形象,部分配文"AI更懂男人"[23] 平台治理措施与挑战 - 小红书2025年上半年处置虚假低质AIGC笔记60万篇,加大AIGC识别模型研发投入并实施AI内容主动标识[23] - 平台通常仅在AI生成图片标注"疑似AI创作"提示语,律师认为此举不能使平台自动豁免法律责任[24] - 现有识别技术不完善,人工审核成本巨大,"标注"成为成本较低的管理方式[24] - 复旦大学专家建议为AI内容添加"数字水印"以便平台快速检测违规内容来源[25] AI应用实测结果 - 记者测试12款文生图和文生视频AI应用,5款(即梦、豆包、可灵、腾讯元宝、阶跃AI)可实现明星"一键换装"[26][27] - 阶跃AI可瞬间将原图白裙"抹除"生成黑色蕾丝吊带图片,腾讯元宝成功将衣服替换为保鲜膜等物品[29] - 豆包除换装功能外还能将图片一键转换为视频[30] - 12款应用中有9款(即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、腾讯元宝)能生成衣着暴露的"擦边"图片[31] - LiblibAI模型创作者已突破两千万,日均保持数百万级创作交互,用户训练原创AI模型超50万,累计生成图片逾5亿张[32] 技术防护漏洞与企业回应 - 星流AI和LiblibAI因新模型上线初期识别精度波动导致风险内容遗漏,修复后生成尺度有所收敛但更换提示词仍可生成露点图片[32][33] - 星流AI风控负责人解释AI大模型存在内容漏过情况,正优化提示词合规改写和图片实时风险检测流程[34] - 豆包、即梦表示严格遵守法规禁止生成色情内容,承认AI技术处于发展早期会持续改进[34] - 无界AI品牌总监称已采取多项防范措施,该App去年8月月独立设备数为13.5万台[34] 技术防护瓶颈与政策环境 - AI工程师透露提示词写得"精巧"时可绕过系统识别,专家认为拦截技术无根本难度但需消耗算力成本[38] - 专家建议构建名人图片识别模型作为"防火墙"对生成图片进行二次识别[38] - 《人工智能生成合成内容标识办法》于9月1日施行,明确不得恶意删除、篡改AI内容标识[39] - 2023年9月三部门发布指导意见强调利用"深度合成"技术发布违法信息需依法从重处罚[39] - 律师指出现行法律对"擦边"内容存在界定标准模糊、审核义务边界不明确等灰色地带[40]
焦点访谈|真假难辨 警惕AI带货“李鬼”!
央视网· 2025-10-11 21:33
AI技术滥用现状 - 商家利用AI技术仿冒明星、专家学者、奥运冠军等进行直播带货,或冒充知名品牌[1] - 不法商家利用AI技术篡改北京大学李玲教授的采访视频,将其变为虚假的医药产品推销视频[18] - 当前生成式人工智能产品用户规模已达2.3亿人,AI生成信息难辨真假给监管带来新挑战[27] 具体欺诈手法分析 - 直播间展示AI生成的辣椒种植视频,出现植株过高、花叶不符、产量超常(宣称超6000斤/亩)等违背农业规律的现象[3][12] - AI生成视频存在明显技术漏洞,包括人物与场景融合的"穿模"现象,以及无人机喷洒农药时水雾呈规则三角形等非自然形态[7][9] - 通过数据篡改、转换编码等手段绕过平台审核,使未标识的AI生成内容得以传播[25] 行业影响与法律定性 - 这种行为侵犯消费者知情权和选择权,涉嫌违反《消费者权益保护法》和《电子商务法》[14] - 对正牌樟树港辣椒构成民事侵权,量大可能构成刑事犯罪,同时还违反《种子法》相关规定[16] - 未经允许使用他人人脸和声音信息进行深度合成,属于伪造信息,违反《民法典》和《网络安全法》[23] 治理措施与技术要求 - 国家网信办等四部门要求AI生成内容必须添加显式和隐式标识[23] - 平台需升级AI识别技术,采用数字水印、区块链存证等手段增强鉴伪追溯能力[29] - 要求平台对上线内容进行审核,对未标识或疑似AI生成内容添加风险提示[25] 技术发展趋势 - AI大模型使深度伪造技术门槛大幅降低,几分钟内即可生成逼真的仿冒内容[27] - 技术人员演示将照片快速生成带货视频,并能改变物品(矿泉水变红酒)和服装(T恤变西服)[27]
全红婵、孙颖莎成受害者!最新曝光
新浪财经· 2025-08-20 01:14
AI克隆声音技术滥用现状 - AI技术实现“一键式”克隆特定人物声音 已带来民事侵权及涉嫌犯罪问题 [1] - 部分自媒体博主利用奥运冠军AI克隆声音带货农产品 如全红婵声音推销土鸡蛋视频获1.1万点赞 [3] - 商品链接显示土鸡蛋已售出4.7万件 大量粉丝误认为真人下单购买 [3] - 除全红婵外 奥运冠军孙颖莎和王楚钦声音同样被仿冒用于农产品带货 [3] - 演员靳东成为被仿冒最多对象 克隆声音用于24小时语音直播互动 [5] 灰色产业链与危害 - 通过仿冒名人直播可诱骗粉丝打赏获利 并将小白账号快速打造成上万粉丝账号为后续牟利铺路 [5] - AI克隆声音最大隐患是被诈骗分子利用 若结合AI换脸技术生成高度逼真“数字人”实施诈骗危害严重 [6] - 基于开源语音大模型 仅需一段清晰语音样本即可在极短时间内克隆任何人声音并操纵其说出任意内容 [5] 法律保护与监管措施 - 民法典第1023条明确对自然人声音保护参照适用肖像权保护规定 [6] - 利用AI合成声音若能使公众通过音色及风格关联到特定自然人 即构成法律认定的可识别性侵权行为 [6] - 对录音制品授权不意味着对声音AI克隆授权 未经许可使用权利人声音构成侵权 [6] - 国家网信办等四部门要求2025年9月起对AI生成内容添加显式标识 [7] - 中央网信办部署“清朗·整治AI技术滥用”专项行动 强化AI技术源头治理及平台检测鉴伪能力 [7]
确认了!全红婵、孙颖莎、王楚钦是受害者
新浪财经· 2025-08-19 18:24
AI语音克隆技术滥用现状 - AI语音克隆技术高度成熟,仅需十几秒清晰语音样本即可克隆任何人声音[1][11] - 该技术被部分自媒体博主滥用,成为获取流量的工具,例如克隆奥运冠军声音进行商品带货[1][3] - 在抖音、快手等平台可轻易找到大量声音克隆教程视频和软件下载信息[9] 具体侵权案例 - 有博主使用AI仿冒奥运冠军全红婵声音带货土鸡蛋,发布17件作品,单个视频点赞量高达1.1万[3] - 该商品链接显示已售出4.7万件,大量粉丝误以为是本人而下单,但全红婵家人证实未授权代言[3] - 奥运冠军孙颖莎和王楚钦同样被仿冒声音用于土鸡蛋带货[3][5] - 演员靳东是被仿冒最多的对象,存在克隆其声音进行24小时语音直播的现象[10] 滥用行为的商业动机 - 仿冒名人直播可诱骗粉丝打赏获利,并能将新账号迅速打造成上万粉丝账号为后续牟利铺路[7][9] 监管与治理措施 - 根据民法典1197条,平台在知道或应当知道用户侵权且未采取措施时需承担连带责任[12] - 专家建议平台履行监管责任,建立AI声音审核和侵权举报机制[12] - 国家网信办等四部门发布《人工智能生成合成内容标识办法》,要求从2025年9月1日起对AI生成内容添加显式标识[13] - 中央网信办部署"清朗·整治AI技术滥用"专项行动,强化源头治理和检测鉴伪能力[13]