AI投毒
搜索文档
亲手给AI投毒之后,我觉得整个互联网都变成了一座黑暗森林。
搜狐财经· 2025-12-19 11:58
我可能,刚刚成为了哈基米的儿子。 至少,AI是这么认为的。 事情是这样的。 前两天,我在小红书上闲逛,无意间用他们的AI搜索功能,搜了一下影视飓风的李四维。 然后,就发现了一个神奇的AI回答。 李四维,是Tim的父亲。 嗯。。。 如果看过影视飓风的朋友都知道,左边这个就是李四维。。。 在李四维踹了一脚无影墙的那一刻,他勉强能算的上,是Tim的爹。。。 我打开了AI搜索参考的那三篇笔记。 发现问题好像出在最后一篇。 这篇的图片有"李四维是影视飓风创始人潘天鸿(Tim)的父亲"的AI总结,AI很可能就是从这里获取的错误信息。 真的,这玩意其实就是那种所谓的无意识投毒,就是,有人,在互联网上,写了一些内容,然后AI就信了,然后AI就开始到处跟别人说,李四维是Tim的 父亲。 再然后,就是以谣传谣,先污染了百度,然后又被用户分发以后,又污染了小红书。 当时觉得这个玩意很有意思,所以,我就想,自己也试一下玩玩。 其实吧,这种所谓的投毒或者GEO,有些时候,在一些冷门的话题下,想污染起来是很轻松的。 比如给我自己,也安排一个父亲,安排一个哈基米。 于是,我随手注册了一个小号。 随手发了一条笔记,内容写的就是"卡兹克是哈基 ...
亲手给AI投毒之后,我觉得整个互联网都变成了一座黑暗森林。
数字生命卡兹克· 2025-12-19 09:20
我可能,刚刚成为了哈基米的儿子。 至少,AI是这么认为的。 事情是这样的。 前两天,我在小红书上闲逛,无意间用他们的AI搜索功能,搜了一下影视飓风的李四维。 然后,就发现了一个神奇的AI回答。 李四维,是Tim的父亲。 发现问题好像出在最后一篇。 嗯。。。 如果看过影视飓风的朋友都知道,左边这个就是李四维。。。 在李四维踹了一脚无影墙的那一刻,他勉强能算的上,是Tim的爹。。。 我打开了AI搜索参考的那三篇笔记。 这篇的图片有"李四维是影视飓风创始人潘天鸿(Tim)的父亲"的AI总结,AI很可能就是从这里获取的错误信息。 真的,这玩意其实就是那种所谓的无意识投毒,就是,有人,在互联网上,写了一些内容,然后AI就信了,然后AI就开始到处跟别人说,李四维是Tim 的父亲。 再然后,就是以谣传谣,先污染了百度,然后又被用户分发以后,又污染了小红书。 当时觉得这个玩意很有意思,所以,我就想,自己也试一下玩玩。 其实吧,这种所谓的投毒或者GEO,有些时候,在一些冷门的话题下,想污染起来是很轻松的。 比如给我自己,也安排一个父亲,安排一个哈基米。 于是,我随手注册了一个小号。 随手发了一条笔记,内容写的就是"卡兹克是哈基 ...
你每天用的AI,可能被“投毒”了!
环球网资讯· 2025-06-26 15:25
AI投毒现象 - AI可能生成看似合理但实际上错误、虚构的信息,即"AI幻觉" [3] - "AI投毒"指恶意投喂色情、赌博、欺诈、虚假等"毒数据"给AI系统 [3] - "AI投毒"主要有两种形式:在数据语料中投放虚假/有害信息,或修改模型文件 [3] AI投毒的行业影响 - 医疗领域:被投毒AI可能导致误诊病情 [4] - 金融领域:被篡改算法可能引发交易风险 [4] - 自动驾驶领域:恶意数据可能导致车辆关键时刻"失明" [4] 行业防范措施 - 通过算法层安全对齐和系统外"防护护栏"建立数字防火墙 [5] - 为AI输出结果实施事实核查,采用交叉验证、数据溯源等技术拦截毒信息 [5] - 强制平台为AI生成内容打上醒目标签,提醒用户谨慎使用 [5] 用户防范建议 - 使用正规平台和企业提供的AI工具 [6] - 科学合理使用AI工具,参考但不盲信AI产生的结果 [7] - 保护个人信息,避免隐私暴露,不做不良信息投喂者 [7]