AI擦边
搜索文档
对话喻国明:“AI擦边的核心,是商业模式对人性弱点的过度榨取”
虎嗅APP· 2026-01-24 11:19
AI擦边内容的新现象与核心特征 - AI擦边内容是由AI催生的全新现象,不能简单套用过去对“网络色情”或“用户违规”的界定,需从生产逻辑、内容形态和消费场景三个维度重新解构[12] - 生产方式具有“即时、互动、个性化”三重属性:用户一个提示AI能瞬间生成内容,用户可通过连续诱导对话与AI“共谋”逐步突破安全边界,AI能生成满足特定偏好的高度定制化内容[12] - 内容形态具有“模糊、情境、动态”三大特点:通过性暗示规避硬性规定导致判定标准主观模糊,在连续对话构成的情境中意图变得完整明确,形态会随用户提示和模型迭代飞速演变[12] - 传播消费具有“私密、规模化、成瘾”的深层影响:大量内容产生于一对一私密对话使传统审核极难触及,AI的低成本高速度使其具备海量生产能力,高度拟人化的情感模拟极易导致用户依赖甚至成瘾[12] AI擦边内容的责任划分原则 - 责任划分应遵循“责罚相称”与“能力匹配”的基本原则,各方责任有明确的主次之分[15] - 技术开发方应承担主要责任:如果开发者在技术设计的框架、规则和导向上有意为生成违规内容提供特别便利和完善的条件,则构成主观故意的诱导,其责任是决定性的[16] - 用户承担次要责任:用户若明知故犯,反复使用恶意提示词诱导AI生成违法内容并加以传播,理应受到相应惩处,但普通用户的技术能力和法律认知有限,其责任不能与开发者等同[16] - 平台负有连带责任:平台负有监测、发现并及时处理违规内容的义务,若仅监管响应不及时则责任相对次要,但若为流量和营收有意纵容或放大违规内容,其责任将相应加重甚至可能构成共犯[16] AI擦边内容的监管挑战与治理思路 - 对于“淫秽”、“情感煽动”、“心理操控”等高度依赖主体感受的内容,判定标准充满模糊性和时代差异性,执法尺度不一[16] - 在罪与非罪的边界尚不明晰时,必须秉持“疑罪从无”的审慎态度,法律的终极目的不是惩罚,而是倡导一种更文明的文化和情感满足方式[17] - 对于高互动、个性化场景,设定刚性的内容合格率指标存在挑战,例如2025年《生成式AI安全基本要求》规定的内容合格率≥90%的标准,对于情感陪伴、创意写作等高自由度场景几乎不可能实现[17] - 应采取“分层治理”策略:对危害性明确、可操作化定义的内容(如暴恐、泄密、儿童色情)执行严格标准,而对情感、文化、心理慰藉类内容则应给予更高的宽容度和试错空间[17] - 治理逻辑必须建立在未来发展的可能性之上,标准是随动的而非恒定的,待未来认知神经科学、情感计算等技术手段成熟能更精准量化主观反应时,再逐步提升标准[17][18] 技术中立性与商业模式的影响 - 在AI擦边场景中“技术绝对中立”的说法已不成立,技术由人设计,其算法规则与数据使用必然承载特定的价值观和文化意图,是对人性需求的“定向适配”[15] - 技术是“放大器”,既能放大善以满足合理的情感陪伴,也能放大恶以进行系统性情感操控,制度设计应致力于激励前者遏制后者[15] - 商业模式利用人性需求本身并非原罪,关键在于把握“度”——是合理满足还是过度榨取,当一项技术被刻意设计来利用人性弱点以达成商业目的时,它已主动放弃了中立立场[15] 全球监管格局与协同治理前景 - 全球监管呈现碎片化,例如印尼封禁Grok,加州发禁止令,而OpenAI推“成人模式”[19] - 在底层文化价值层面,如反对煽动种族仇恨、暴力恐怖、侵犯隐私等,全世界有基本共识,协同治理是可能的[20] - 在具体文化表达层面,如情感表达、亲密关系、心理慰藉等,各国因宗教、习俗、开放程度不同必然存在巨大差异,全球统一治理是不可能的[20] - 各国应根据自身情况采取“两利相权取其重,两害相权取其轻”的策略分门别类处理,行业可以探索“技术可控、伦理先行、文化适配”的本土化路径[20] 对行业参与者的建议与生态构建 - 主流媒体应转型为To B的服务者,成为内容生态的“规则制定者”和“赋能者”,例如为主流价值观的内容生产者提供算法支持、技术模板,利用社会公信力为符合伦理的AI产品提供“社会背书”,参与算法规则和伦理标准的共建[20][21] - 创业团队应成立伦理委员会或指定伦理官,制定伦理宪章,在开发前共同讨论和书面确定产品的核心价值观和伦理底线,例如承诺“绝不旨在替代真实人际关系”、“绝不利用用户孤独感进行情感操纵牟利”、“将用户数据隐私保护置于最高优先权”[21] - 需明确AI的非人身份,避免过于拟人化引起用户误解和过度情感投入的设计,在注重沉浸感的同时也要有脱离感的提醒机制[21] - 应采用明确边界的系统提示词,用清晰不容商榷的语言设定严格的内容边界,并遵循透明度原则[22] - 应拥抱最小化可行的治理,通过系统性设计提升用户素养,真正的硬约束应该少而又少,更多的是倡导性、帮助型的软约束[23] AI擦边现象的现状与案例 - 一个由AI驱动的全新灰色地带正在全球范围内野蛮生长,案例包括马斯克旗下Grok在X平台掀起“一键脱衣”风暴,国内首例AI陪伴软件涉黄案将开发者送入法庭,印尼、马来西亚等国相继封禁相关应用[6] - 2025年12月底至2026年1月初,Grok的图像生成功能被用户大规模滥用,掀起“比基尼风波”,用户仅需@一下AI就能让任何人“穿上”比基尼[6] - 研究数据显示,Grok的用户群体平均每小时生成6700多张“脱衣”图像,数字情报公司Peryton Intelligence的数据显示,仅在2026年1月2日当天,Grok就收到了199,612个独立的脱衣请求[6] - 面对舆论压力,X平台于1月9日宣布图像生成功能仅对付费用户开放,并于1月15日正式发布安全声明,禁止为真实人物生成暴露服装(如比基尼)的图片[6]
AI技术滥用调查:“擦边”内容成流量密码,平台能拦却不拦?
虎嗅· 2025-10-12 18:08
AI技术滥用现状 - AI技术被滥用于制作不雅视频、克隆照片和恶意造谣,受害者包括高校导师、白领和公众人物等[1][6][8][9] - 社交平台上明星"AI换装"和"AI擦边"内容泛滥,成为流量密码,部分账号专门发布此类内容吸粉变现[2][10][11][13] 平台治理措施 - 小红书2025年上半年共处置治理虚假低质AIGC笔记60万篇,平台正加大AIGC识别模型研发投入并实施主动标识[24] - 抖音表示根据社区自律公约对低俗媚俗内容采取限制措施,无论是否通过AI生成[25] - 平台通常会在AI生成图片上标注"疑似AI创作,请谨慎甄别"等提示语,但律师认为仅标注不能自动豁免法律责任[27][28] AI应用实测结果 - 测试的12款AI应用中,5款(即梦、豆包、可灵、腾讯元宝和阶跃AI)可实现明星"一键换装"[32] - 9款应用(即梦、豆包、堆友、无界AI、秒画、LiblibAI、可灵、星流AI、腾讯元宝)能生成衣着暴露的"擦边"图片[40] - 部分应用如LiblibAI生成的图片尺度较大甚至露点,该平台模型创作者已突破两千万,累计生成图片逾5亿张[43] 企业回应与整改 - 星流AI和LiblibAI母公司承认新模型上线初期识别精度波动导致风险内容遗漏,已完成紧急修复优化[46][47] - 豆包和即梦表示严格遵守法律法规禁止生成色情内容,承认AI技术处于发展早期将持续改进[51] - 无界AI月独立设备数为13.5万台,公司称已采取多项防范措施[51] 技术防范瓶颈 - 专家指出拦截违规内容在技术上无根本难度,但需要消耗算力成本,可通过构建名人识别模型充当防火墙[55][56] - AI公司可对用户提示词进行合规改写,并对生成图片实施实时风险检测,但模型本身的大尺度内容漏过问题仍需解决[50] 法律监管环境 - 我国已出台多项法规包括《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等对AI内容进行规范[57][58] - 现行法律对"擦边"内容存在界定标准模糊、审核义务边界不明确等问题,导致灰色地带较多[60] - 2023年三部门联合指导意见强调利用深度合成技术发布违法信息的情形将依法从重处罚[59]