文章核心观点 - Transformer架构的联合创造者Llion Jones对当前AI领域过度集中于单一架构表示厌倦，并指出巨大的投资和竞争压力导致研究狭隘化，抑制了根本性创新 [1][2] - AI行业面临资源投入与创造力下降的悖论，研究者因害怕被“抢先”而选择低风险项目，整个领域陷入过度“利用”现有技术而非“探索”新可能的局部最优状态 [8][11] - 解决方案是调高“探索”的比重，创造允许自由研究的宽松环境，这种环境在吸引顶尖人才方面可能比高薪更具竞争力，并可能催生下一个类似Transformer的突破 [13][14][15] AI行业现状与问题 - AI领域获得了前所未有的关注、资源、资金和人才，但这反而导致了研究视野变得狭隘 [2] - 研究者普遍面临巨大压力，需要假设有三到四个其他团队在做完全相同的研究，导致仓促发表论文，降低了科学创造力 [11] - 行业当前的状态是过度“利用”现有Transformer架构，而“探索”不足，这可能导致错失更优越的替代方案 [11] Transformer的成功与局限 - 论文《Attention is all you need》自2017年发表以来，已获得超过20万次引用，是本世纪最具影响力的计算机科学论文之一 [4][5] - Transformer架构的成功和强大，本身可能阻碍了人们去寻找更好的替代技术，因为如果当前技术更差，会有更多人积极寻找替代品 [16] - 尽管在现有Transformer技术上仍有重要工作可做，但行业拥有的人才和资源完全有能力进行更多探索性研究 [18] 创新环境与解决方案 - Transformer的诞生源于“非常有机的、自下而上”的环境，源于午餐交谈或白板涂鸦，研究者当时拥有自由时间且没有来自管理层的发表压力 [12] - Sakana AI试图重现这种环境，进行受自然启发的研究，并将追逐论文发表或直接竞争的压力降至最低，其理念是“只做那些如果你不做就不会出现的研究” [14] - 为研究者提供探索自由是吸引顶尖人才的一种非常有效的方式，其吸引力可能胜过百万美元年薪 [15] 未来展望与风险提示 - 有证据表明，单纯构建更大的Transformer模型可能正接近收益递减的瓶颈，持续进步可能需要架构创新而不仅仅是规模扩大 [19] - 下一个Transformer规模的突破可能近在咫尺，但正因成千上万的研究人员竞相对现有架构进行增量改进，而可能被忽视 [20]