Transformer架构的诞生与革命性 - 2017年6月，谷歌的8位研究员发表《Attention Is All You Need》论文，提出了Transformer架构，该架构成为ChatGPT及几乎所有现代人工智能模型的底层基础[2] - Transformer架构的核心创新是抛弃了循环神经网络，引入自注意力机制，使模型能够并行处理所有输入词，并解决长距离依赖问题，计算效率得到指数级提升[13] - 该架构最初被设计用于提升机器翻译效率，但其革命性潜力在当时被谷歌及整个行业严重低估，被视为“一个不是秘密的秘密武器”[3] 行业早期格局与技术路线分歧 - 在Transformer之前，人工智能产业化的爆发始于2012年，杰夫·辛顿团队采用卷积神经网络在ImageNet比赛中以84%的准确率夺冠，推动了计算机视觉的商业化[7] - 同期，自然语言处理领域因主流算法循环神经网络效率低下且存在长距离依赖问题而发展缓慢，商业化前景黯淡[9][10] - Transformer问世后，行业出现两大技术路线分歧：OpenAI坚持“生成式”预训练路线，专注于训练模型预测下一个词；而谷歌则推崇“判别式”路线，其BERT模型通过上下文理解文本含义，并在2019年10月全面应用于英语搜索[14][18][19] OpenAI的关键决策与GPT系列发展 - OpenAI技术骨干Ilya Sutskever在Transformer出现后，坚信其潜力，并集中所有资源开发GPT系列生成式预训练模型[5] - OpenAI信奉Scaling Laws，认为模型能力随参数量、数据量和计算资源的增加而提升，这一理念在2020年发布的1750亿参数GPT-3模型上得到验证[21] - 为让模型输出更符合人类价值观，OpenAI在2022年1月发布InstructGPT模型，通过人类反馈强化学习技术对模型进行“对齐”处理，为ChatGPT的诞生铺平道路[28][30] 主要科技公司的竞争与战略布局 - 谷歌虽拥有Transformer和BERT的先发优势，但初期主要将其用于优化搜索，未能预见其在通用人工智能领域的颠覆性潜力[4][15] - 微软通过向OpenAI投资100亿美元并获得GPT-3的排他性授权，在AI竞赛中占据有利位置，并利用其为自家云服务宣传[23] - 英伟达的GPU硬件（如V100）及其CUDA生态，意外成为训练Transformer大模型的关键基础设施，深度受益于AI算力需求爆发[4][23] - 其他公司如Meta、亚马逊、特斯拉、百度等迅速加入竞争，分别通过开源模型、投资社区、自研芯片、推出大模型等方式构建护城河[26] ChatGPT的横空出世与行业影响 - 2022年，OpenAI基于GPT-3.5推出聊天机器人ChatGPT，旨在测试公众对AI的反馈并指导后续研究，其影响力远超团队预期[5][31] - ChatGPT上线5天用户突破100万，两个月突破1亿，打破了TikTok保持的互联网产品最快增长纪录，标志着AI新纪元的开启[6] - ChatGPT的爆发使技术路线竞争迅速演变为全面的“算力恐慌”，Scaling Laws成为行业共识，推动全球科技公司加大在算力和大模型上的投入[23][26] 行业生态与安全伦理争议 - AI模型的安全与伦理问题伴随其能力增长而凸显，OpenAI通过外包给肯尼亚公司Sama，以每小时1.32至2美元的薪酬雇佣工人标注有害内容，以实施RLHF进行模型对齐[29][32] - 公司内部对AI安全与商业化速度存在分歧，例如OpenAI联合创始人Dario Amodei因担忧安全问题与Sam Altman分道扬镳，后创立了竞争对手Anthropic[27][28] - 尽管面临安全与伦理挑战，但产业界普遍认为技术迷雾已被Scaling Laws驱散，各大公司均在算力、芯片、模型和生态上积极布局，以应对新时代的竞争[26]