Workflow
内容风控
icon
搜索文档
快手深夜“失守”
财联社· 2025-12-23 11:06
事件概述 - 快手平台于22日22时许,多个直播间突发涉黄内容泛滥,出现淫秽影片播放、低俗擦边表演等违规内容,观看人数上万,引发用户质疑与恐慌 [1] - 快手深夜回应称事件系黑灰产攻击所致,已紧急修复、上报相关部门并报警 [1] 事件暴露的问题与影响 - 事件暴露了平台内容风控的薄弱环节,打破了快手在事发前一天宣称通过AI技术实现违规内容“秒级识别”的宣传,形成鲜明反差 [1] - 黑灰产攻击具备周密的组织性和成熟的技术手段,能够精准突破平台防线,短时间内批量推送违规内容 [1] - 攻击行为严重违背公序良俗,污染网络生态,对青少年身心健康构成直接威胁,并严重侵犯平台用户合法权益 [1] 对平台治理的反思与建议 - 平台作为网络空间运营者,应承担内容安全主体责任,此次“失守”暴露了其在事前防御和应急响应机制上的短板 [2] - 平台风控体系不能满足于“事后补救”,应构建全流程、多层次的防护网 [2] - 需持续加大技术研发投入,优化AI识别算法,提升对新型违规内容和攻击手段的预判与拦截能力 [2] - 需完善应急处置预案,在遭遇大规模攻击时能够快速响应、精准管控,最大限度降低危害扩散 [2] - 平台需摒弃“重流量、轻治理”的倾向,将内容安全置于商业化发展之上 [3] 行业治理与协同 - 围剿网络黑灰产仅靠平台单打独斗不够,需监管部门、司法机关与社会公众形成治理合力 [3] - 黑灰产产业链复杂,涉及生产、流通、消费多个环节,具有隐蔽性强、跨地域化等特点,治理难度极大 [4] - 需强化跨部门协同作战,完善信息共享机制,精准打击黑灰产产业链上下游,从源头遏制违法犯罪行为 [4] - 应进一步细化法律法规,弥补监管空白,提高黑灰产犯罪的违法成本 [4] - 随着AI等技术的发展,黑灰产攻击手段日趋智能化、隐蔽化,渗透到直播、金融、电商等多个领域 [4] - 整个行业需摒弃“各自为战”思维,建立行业间风控协作机制,共享攻击特征与防御经验,共同提升全行业抗攻击能力 [4] - 平台应加强与公安机关联动,积极提供技术支持与数据线索,线上治理与线下打击相结合是遏制黑灰产的有效路径 [4] 总结与展望 - 此次事件为所有互联网平台敲响了警钟,应转化为全行业提升治理能力的动力 [5] - 清朗网络生态需要全社会共同守护,需多方协同、久久为功,不断压缩黑灰产生存空间 [5]
刷榜刷量的“内容农场”还在升级,安全治理怎么防?
21世纪经济报道· 2025-12-12 11:36
AI技术重塑互联网黑灰产与风控行业 - AI技术革命正深刻影响互联网安全和风控行业 未来5-10年 人类每天接触的信息将有超过50%来自AI 简单的验证码甚至人脸识别等传统防御手段不再稳妥[1] - 生成式AI正被黑灰产主动吸收 充当更聪明的大脑 用于实施如提示词攻击等新型手段 这类攻击手段新颖 门槛低 扩散快[3] - 风控行业正积极采用AI进行对抗 例如利用AI大模型进行深度行为分析和团伙挖掘 组建“AI蓝军”进行攻击演练 实现“用AI防AI”[3] 黑灰产运作模式与基础资源 - 黑灰产利润主要来自诈骗和作弊返利两类业务 诈骗团伙需要大规模社交触达筛选目标 薅羊毛团队则围绕批量刷榜 冲量 注册拉新场景展开[1] - 账号是黑灰产最关键的底座 主要通过“猫池”“卡池”获取 一台笔记本大小的“猫池”可接入约512张卡 用于自动接收验证码及批量注册等操作[2] - 设备成本显著降低 例如演示中使用的机械臂购入价格约1000元人民币 两台真机成本仅300至400元人民币 云手机的普及进一步降低了硬件投入 可实现低成本批量租用以运行脚本和模拟点击[1][2] - 网络资源方面 黑灰产青睐如“秒拨IP”(每秒切换IP地址)和“IP魔盒”(伪装全球各地流量)等“隐形衣”技术 使基础级IP防护策略难以生效[2] 内容风控流程的演进与挑战 - 传统内容审核采用“机审 + 人审”流程 但面临人工成本高 耗时长 审核员身心健康受损以及难以应对规模放大和激烈对抗等挑战[3] - 风控流程正尝试升级为“AI机器审核 + 大模型审核 Agent + 专家决策”的三角链路 旨在用大模型审核替代部分人审环节 提升对复杂风险的研判能力[4] 黑灰产具体攻击案例 - 黑灰产利用电商平台AI客服的自动发放红包或优惠券机制 通过批量复制话术和简单的提示词攻击来榨取商家优惠[3] - 现场演示了“内容农场”的运作 通过预设脚本在百度自动搜索同一词条 并使用机械臂自动操作手机在抖音进行不间断下滑 点赞 收藏和评论[1]