文章核心观点 - Transformer架构的创造者之一Llion Jones表示已厌倦该架构，并指出AI行业因过度投资和竞争压力而僵化于单一架构，导致创造力下降和探索不足，可能错失下一个重大突破 [2][3][23][29][31] AI行业现状与挑战 - AI领域面临悖论：资源投入前所未有，但创造力却在下降，研究者因害怕被竞争对手抢先而选择安全、易于发表的项目，而非高风险变革性项目 [11][16] - 行业竞争导致研究同质化，例如有四篇不同论文几乎同时提出与表征自编码器类似的思想，以及两家公司在OCR token化方法上撞车 [12] - 当前AI研发模式过度“利用”现有Transformer架构，而“探索”不足，导致陷入局部最优解，可能错过更优越的替代方案 [16][29] Transformer的成功与局限 - 论文《Attention is all you need》发表于2017年，已获得超过20万次引用，是本世纪最具影响力的计算机科学论文之一 [7] - Transformer自身的成功和强大灵活性，反而可能阻碍人们去寻找更好的替代技术 [24] - 简单地构建更大的Transformer模型可能正接近收益递减的瓶颈，持续进步可能需要架构创新而不仅仅是规模扩大 [29] 创新环境与解决方案 - Transformer的诞生源于自由、自下而上的研究环境，如午餐交谈和白板涂鸦，没有来自管理层的项目或论文发表压力 [19] - 倡导调高“探索旋钮”，公开分享研究成果，即使会带来竞争代价，以合作而非竞争的方式共同推动技术进步 [21][26] - 在研究机构中提供探索自由比高薪更能吸引顶尖人才，例如Sakana AI给予研究员一周时间自由探索，最终成果被NeurIPS接收为Spotlight论文 [21][22] 未来展望与风险 - 下一个Transformer规模的突破可能正由拥有探索自由的研究人员追寻，但可能因当前行业追逐增量改进而被忽视 [31] - 每年数百亿美元流入AI研发，但激烈的竞争和保密倾向使得探索性研究环境渐行渐远，可能需要颠覆现有的激励机制以找到根本性创新 [29]