人工智能发展历史 - 学界对AI存在两种理解范式：逻辑型（符号规则表达操作实现推理）与神经网络型（智能基础在于学习神经网络中的链接）[5] - 1985年开发的小语言模型通过分析词汇特征关联预测下一个词 未存储任何句子[7][8] - 技术发展脉络：Yoshua Bengio扩大模型规模→计算语言学家接受特征向量嵌入→谷歌开发Transformer→OpenAI推出ChatGPT[9] 大语言模型原理 - 当前LLM被视为1985年小语言模型的技术延续 使用更复杂神经元结构与多词输入建立特征交互[12] - LLM理解语言方式与人类相同：将语言转化为特征并以完美方式整合[13][14] - 词汇可类比为多维乐高积木 通过组合表达复杂含义 语言成为建模工具[16][17] - 词汇具有动态语义特征 根据上下文调整连接方式 类似蛋白质结合机制[19][20][22] 数字智能优势 - 数字智能可实现软件与硬件分离 软件具有永恒性[29] - 数字智能间知识传递效率远超人类 每秒可共享上万亿比特信息[37][40][41] - 模型权重复制与参数平均化技术实现跨硬件知识协同 如GPT-4并行运行[39][43] - 数字智能能耗虽高但具备可复制性 生物智能能耗低但知识迁移效率低下[45] AI未来发展挑战 - 高智能AI可能自主产生生存与控制动机 超越人类操控能力[47][48][49] - AI具备不可替代的行业价值 医疗教育等领域应用使全球无法彻底消除[54] - 需建立国际AI安全合作机制 类似冷战时期核管控模式[58][59][62] - 训练AI向善的技术需独立研发 各国可基于数据主权贡献解决方案[61] 技术应用案例 - DeepSeek采用知识蒸馏技术 将大网络知识迁移至小网络[33] - 神经网络教学模仿师生关系 教师优化连接方式 学生简化网络结构[34] - AlexNet在2012年ImageNet挑战赛突破图像识别 成为计算机视觉里程碑[66]

AI技术发展趋势 - 机器学习彻底改变对计算机能力的认知和期待，过去12-14年间计算资源、数据量和模型规模的扩大持续带来性能提升[5] - 算法和模型架构改进的影响超过硬件进步，导致计算范式从传统CPU为中心发生转变[5] - 神经网络和反向传播是深度学习革命的核心要素，2012年训练出规模空前的大型神经网络实现70%性能提升[7] - 2013年开发的Word2Vec词嵌入模型展现出语义相近词语向量聚集和向量方向具有语义意义两大特性[8] - 2014年开发的序列到序列学习模型为机器翻译等任务提供端到端解决方案[8] - 2017年提出的Transformer架构相比LSTM仅需1/10到1/100计算量就能取得更优性能[9] - 2018年开始流行利用自监督数据进行大规模语言建模，产生海量训练数据[10] - 2021年开发出将图像处理整合进Transformer框架的方法，统一文本和图像处理[10] - 2017年开发的混合专家模型(MoE)实现显著算法优势，训练计算成本降低8倍或相同成本下准确率提升[10] 硬件与基础设施创新 - 为神经网络推理构建定制化硬件TPU，比同期CPU和GPU快15到30倍，能效提升30到80倍[9] - 最新Ironwood Pod包含9216个芯片，总算力达42.5 TFLOPS，相比2018年首个训练Pod计算能力提升约3600倍[9] - 开发Pathways系统简化大规模计算执行，为开发者提供单一Python进程抽象层[11] - 推测解码技术利用小型"草稿模型"预测多个Token再由大模型验证，提高解码效率[13] - 知识蒸馏技术将大模型知识迁移到小模型，使用3%训练数据即可达到接近全量数据训练的效果[12] 多模态模型发展 - Gemini项目致力于打造全球最强多模态模型，能理解语言、视觉输入、音频并生成内容[16] - Gemini 1.5引入极长上下文长度，可处理百万Token内容如50篇研究论文或很厚的书[16] - 模型在编码能力、数学、多模态等方面表现优异，在LM Arena平台的Elo评分显著提高[16] - 多模态应用包括代码修复、极低资源语言翻译、视频理解与摘要、历史数据数字化等[20][21] - 通过高级自然语言提示生成代码，如使用P5js探索Mandelbrot集的可视化程序[21] 行业影响与未来方向 - 大语言模型正成为强大通用工具，能将专家知识普及给广大民众[23] - AI安全需要技术和政策监管双管齐下，包括检测错误信息和促进建设性讨论[24] - 数据尚未成为瓶颈，仍有海量未利用数据如视频数据，且可通过改进训练方法提升数据利用效率[25] - 下一个重大挑战是模型自主完成复杂任务的能力，如分解50个子步骤调用多种工具完成相当于一个月工作量的目标[26]