一封来自Transformer之父的分手信:8年了,世界需要新的AI架构
36氪·2025-10-27 11:04

文章核心观点 - Transformer共同作者Llion Jones认为当前AI行业过度专注于对Transformer架构的优化,导致研究路径收窄和创新停滞,呼吁行业减少对短期绩效的追求,增加对全新架构的探索[1][4][5][21][22] AI行业现状与问题 - 海量资金与人才涌入导致研究圈挤进死胡同,大家只顾卷参数、抢发论文,无人探索新架构[4] - 行业处于极度“利用”模式,对同一架构进行打补丁、换皮肤和加大模型,缺乏真正的新路子[5] - 投资人紧盯回报,研究者担心被抢先,导致赶工纸面成绩和挤牙膏式创新[5] - Transformer的强大与灵活性正在阻止行业寻找更好的技术,成为自身成功的受害者[21][22] Transformer的历史与启示 - Transformer出现前,研究圈正对RNN进行无尽的小改小优,Transformer登场后这些优化变得无用[7] - Jones担心当前行业正在重演历史,盯着8年前的架构一直优化,而可能错过下一个革命性突破[9] - Transformer的诞生源于“午饭唠嗑+白板乱画”式的自下而上研究,没有论文指标和考核压力[10][12] Sakana AI的创新实验 - Jones在日本创建的Sakana AI旨在复刻Transformer诞生前的环境,强调少KPI、多好奇、少跟风、多自然启发[14][16] - 公司实验性项目“连续思维机器”在神经网络中融入类似大脑的同步机制,并在NeurIPS会议上获得展示机会[16][19] - Jones在招聘中认为自由胜过报酬,自由探索环境是吸引顶尖人才的非常有效方式[20] Transformer作者现状 - Ashish Vaswani为Essential AI联合创始人兼CEO,希望将公司做成“西方的DeepSeek”[25][27] - Noam Shazeer已回归Google,担任Gemini技术共同负责人[28] - Niki Parmar现为Anthropic技术人员,早期为Adept联合创始人[29][30] - Jakob Uszkoreit为Inceptive Nucleics联合创始人兼CEO,推进“生物软件”方向[32] - Llion Jones为Sakana AI联合创始人兼CTO,公司正洽谈新一轮融资,目标估值约25亿美元[32][34] - Aidan N Gomez为Cohere联合创始人兼CEO,公司计划很快启动IPO,估值约70亿美元,年化收入达1亿美元[36] - Lukasz Kaiser为OpenAI研究员,2025年10月发表“从Transformer到Reasoners”主题演讲[37] - Illia Polosukhin为NEAR Protocol联合创始人,主张“用户所有的AI”与隐私保护[38]

一封来自Transformer之父的分手信:8年了,世界需要新的AI架构 - Reportify