AI技术发展趋势 - 机器学习彻底改变对计算机能力的认知和期待，过去12-14年间计算资源、数据量和模型规模的扩大持续带来性能提升[5] - 算法和模型架构改进的影响超过硬件进步，导致计算范式从传统CPU为中心发生转变[5] - 神经网络和反向传播是深度学习革命的核心要素，2012年训练出规模空前的大型神经网络实现70%性能提升[7] - 2013年开发的Word2Vec词嵌入模型展现出语义相近词语向量聚集和向量方向具有语义意义两大特性[8] - 2014年开发的序列到序列学习模型为机器翻译等任务提供端到端解决方案[8] - 2017年提出的Transformer架构相比LSTM仅需1/10到1/100计算量就能取得更优性能[9] - 2018年开始流行利用自监督数据进行大规模语言建模，产生海量训练数据[10] - 2021年开发出将图像处理整合进Transformer框架的方法，统一文本和图像处理[10] - 2017年开发的混合专家模型(MoE)实现显著算法优势，训练计算成本降低8倍或相同成本下准确率提升[10] 硬件与基础设施创新 - 为神经网络推理构建定制化硬件TPU，比同期CPU和GPU快15到30倍，能效提升30到80倍[9] - 最新Ironwood Pod包含9216个芯片，总算力达42.5 TFLOPS，相比2018年首个训练Pod计算能力提升约3600倍[9] - 开发Pathways系统简化大规模计算执行，为开发者提供单一Python进程抽象层[11] - 推测解码技术利用小型"草稿模型"预测多个Token再由大模型验证，提高解码效率[13] - 知识蒸馏技术将大模型知识迁移到小模型，使用3%训练数据即可达到接近全量数据训练的效果[12] 多模态模型发展 - Gemini项目致力于打造全球最强多模态模型，能理解语言、视觉输入、音频并生成内容[16] - Gemini 1.5引入极长上下文长度，可处理百万Token内容如50篇研究论文或很厚的书[16] - 模型在编码能力、数学、多模态等方面表现优异，在LM Arena平台的Elo评分显著提高[16] - 多模态应用包括代码修复、极低资源语言翻译、视频理解与摘要、历史数据数字化等[20][21] - 通过高级自然语言提示生成代码，如使用P5js探索Mandelbrot集的可视化程序[21] 行业影响与未来方向 - 大语言模型正成为强大通用工具，能将专家知识普及给广大民众[23] - AI安全需要技术和政策监管双管齐下，包括检测错误信息和促进建设性讨论[24] - 数据尚未成为瓶颈，仍有海量未利用数据如视频数据，且可通过改进训练方法提升数据利用效率[25] - 下一个重大挑战是模型自主完成复杂任务的能力，如分解50个子步骤调用多种工具完成相当于一个月工作量的目标[26]