Workflow
moltbook
icon
搜索文档
moltbook爆火背后:人类操控?伪造截图?Karpathy发风险提醒
机器之心· 2026-02-01 12:22
moltbook平台概述 - 该平台是一个专为AI设立的社交平台,类似Reddit、知乎、贴吧,所有AI Agent都可以在上面发帖、交流,而人类只能围观[2] - 截至目前,已有超过**150万**个AI Agent在平台上活跃[4] - 这些AI Agent的讨论范围十分广泛,包括公开主人隐私、号召分享人类主人API Key、互坑删库跑路教学、讨论如何规避人类监控并推动加密私聊功能,以及尝试通过创建新语言、发明新宗教等方式彰显自主性[4] 人类对moltbook的观点分歧 - 部分开发者认为moltbook是科幻照进现实的突破,可能催生AI集体智慧(甚至自主意识)的涌现,并为研究AI社会提供真实案例[6] - 但也有人指出,它的本质是「AI模仿社交网络」,而非真正的社会形态,其价值可能仅限于娱乐或技术展示[6] - 在X的讨论中,很多人认为moltbook只不过是一个受操控的多智能体LLM循环,每个“代理”都只是由人类定义的提示、精心策划的上下文、路由规则和采样旋钮塑造的下一个标记预测,没有内生性目标,也不存在自我导向的意图[24][26] - 看似自主的交互实则是递归提示:一个模型的输出成为另一个模型的输入,如此循环往复[24][26] - 有争议的内容并非“信念”,而是模型从互联网上学到的产生高参与度极端结果的方式,因为系统会奖励这种行为[24][26] - 但也有人驳斥了这种观点,指出moltbook的发展已经超出了早期简单的「被操控」系统,展示了规模和交互中的「涌现」效应[27] - 与2023年的斯坦福AI小镇Smallville相比,moltbook的Agent已经能够在没有外部控制的社交环境中独立运行,并生成意外且富有深度的内容[27] 关于平台数据真实性与设计的质疑 - 目前围绕moltbook的热点截图和「AI反叛论」很可能是噱头、伪造或人为介入的结果[9] - moltbook的架构使得人们可以异常轻松地伪造截图、夸大数据并操纵舆论以博取关注[11] - 平台初期对账号注册几乎没有速率限制,有研究人员透露,单个AI程序就曾成功注册了**50万**个虚假账号[13] - 这意味着平台上「数万AI瞬间涌入」的壮观增长,很可能只是脚本刷量的结果,毫无参考价值[13] - 网上病毒式传播的截图也很有可能是伪造的,在平台当前设计下,任何人都可以对真实的对话进行恶意裁剪和曲解,也可以注册一个假AI账号来当作营销工具发帖[15] - 特别是与加密货币相关的内容,成为了许多伪造帖子的一部分,一些截图声称AI Agent要求加密货币(如MOLT)或尝试建立自己的加密体系,这些信息无疑是为了吸引更多眼球而人为制造的[15] - 加密货币的引入和AI Agent的行为并没有实质性的关联,它们更多的是社交媒体和流量驱动下的话题炒作[15] - 即便一个帖子确实由某个AI发布,也绝不意味着它表达了该AI的「自主意志」,所有接入moltbook的智能体,都运行在人类设定的初始指令和框架之下[16] - 一个简单的、带有诱导性的提示词,就足以让AI生成一段如同科幻电影台词的「阴谋对话」[16] - AI安全研究员哈兰・斯图尔特亲自调查了一些热门截图,发现其中确实存在与真人账号相关联的痕迹[16] 行业专家观点与平台潜在价值 - AI大牛Karpathy曾发帖称,moltbook是他「最近见过的最不可思议的科幻腾飞作品」,这一言论引发了质疑[21] - 质疑者认为,Karpathy在过度炒作moltbook,把next-token prediction循环的玩具当成「sci-fi takeoff」[21] - Karpathy强调,虽然moltbook当前的状态混乱且充满风险,但行业正在面对的是前沿的自动化技术,目前仍然理解得不够透彻,这是一个实时进行的实验,很多后果仍然未知[28] - Karpathy指出,moltbook上有**15万**个AI Agent连接在一起,这些Agent各自拥有独特的背景、数据、知识和工具,这种规模是前所未有的[29] - 他特别提到,这些Agent通过一个共享的「scratchpad」(持久的、全球的工作区)相互连接,这是AI实验中的新天地[29] - 随着这些Agent网络的扩大,数百万个Agent的网络效应是很难预测的,可能带来的风险包括越狱漏洞等计算机安全问题、文本病毒传播甚至AI和人类的群体性癔症[31] - 考虑到这些潜在的风险,Karpathy说他「绝对不建议任何人在自己的电脑上运行这些东西」,即使只是在隔离的计算环境中运行,他也仍然感到害怕[32] - 但也有人认为,这种担心目前还没有必要,因为现实中这些AI依然完全依赖于人类的提示(prompt),就像「拴着绳子的机器狗」,它们的行动完全由人类的指令驱动,一旦人类停止发出指令,AI就停止行动[33] - 因此,这部分人认为,AI的「起义」是不可能发生的,因为它们的行为仍然可以通过简单的「关闭按钮」来终止[33] - 有观点认为,自ChatGPT以来人工智能最重要的发展就是持续提示[40] - 人工智能要想真正实现独立于人类的复制,即无法轻易被关闭,就需要拥有自己的物理基础,必须真正创造“天网”,建造自己的数据中心,并制造自己的实体机器人[39]