探索vs.利用
搜索文档
一封来自Transformer之父的分手信:8年了,世界需要新的AI架构
36氪· 2025-10-27 11:04
Transformer之父「叛逃」?8年前掀起AI革命的男人,如今嫌「自己孩子」太吵太卷!当资本狂飙、论文堆积如山,他却高喊:是时候放弃 Transformer,重新找回好奇心了。 Transformer「亲爹」跑路啦,说是烦透了「自己生的娃」! 还记得那篇8年前把「注意力机制」按在王座上的论文《Attention Is All You Need》吗? 共同作者Llion Jones最近在旧金山的TEDAI大会上当众「叛逃」: AI研究正越做越窄,而他本人,准备把对Transformer的爱好调成「低电量模式」。 海量资金与人才反而让研究圈挤进死胡同,大家只顾卷参数、抢发论文,没人敢探索新架构。 钱越多,点子越少? 这是一种资本与论文KPI的奇妙化学反应。 Jones的主张很直白:前所未有的关注、资金和人才涌入之后,研究反而被「收窄」了。 为啥? 一边是投资人盯着回报,另一边是研究者担心被别人「抢先发」,人人都在拥挤赛道里拼命刷存在感。 结果呢? 赶工纸面成绩,挤牙膏式创新,和千人一面的论文标题。 他还搬出了课本里的老朋友:「探索vs.利用」。 现在的行业像把「利用」旋钮拧到11档:不停对同一架构打补丁、换皮 ...