Workflow
从Transformer到GPT-5,听听OpenAI科学家 Lukasz 的“大模型第一性思考”
AI科技大本营·2025-09-23 10:11

以下文章来源于CSDN ,作者CSDN CSDN . 成就一亿技术人 2017 年,一篇标题看似简单、甚至有些狂妄的论文在线上出现:《Attention Is All You Need》。 在当时的 AI 研究界,这是一个石破天惊的宣言。它提议彻底抛弃被奉为圭臬的循环神经网络(RNN),只用一种名 为"注意力"的机制来处理语言。最初,许多人对此持怀疑态度。然而,这篇仅 15 页的论文很快就点燃了一场燎原之 火。它所提出的 Transformer 架构,以摧枯拉朽之势,重塑了人工智能的版图。今天,从驱动你手机输入的预测文 本,到生成惊艳图像的 DALL-E,再到改变世界的 ChatGPT,其底层的心跳,都源于那篇论文。 截至发文,其在 Google Scholar 上的引用次数高达 197159 次。 | TITLE | CITED BY | YEAR | | --- | --- | --- | | Attention is all you need | 197159 | 2017 | | A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, AN Gome ...