报告行业投资评级 未提及 报告的核心观点 报告围绕语言模型、Transformer、ChatGPT、DeepSeek和新一代智能体展开，介绍语言模型的目标、任务、编码方式及发展历程，阐述Transformer的理论架构和训练机制，分析ChatGPT的发展及能力，探讨DeepSeek的技术创新和全栈影响，还提及新一代智能体的构成和能力[6][32][87][107][132] 根据相关目录分别进行总结 语言模型 - 终极目标是计算任意词序列是一句话的概率，基本任务是编码让计算机理解人类语言，编码方式有One - hot Encoding和Word Embedding，Word Embedding用低维词向量表示词，能使相近向量对应物体含义相近，语言模型发展经历基于统计的N - gram、基于神经网络的LSTM/GRU和Transformer阶段，还有Encoder - Decoder框架用于解决Seq2Seq问题[6][9][13][22][24] - 自监督学习包括语言的Masked Langauge Modeling和图像的Masked AutoEncoders，训练transformer需要数据、模型和算力，如ChatGPT训练使用45TB数据、近1万亿个单词和数十亿行源代码，包含1750亿参数，训练门槛是1万张英伟达V100芯片、约10亿人民币[55][57][62] Transformer - 理论架构创新包括自注意力机制、多头注意力和前馈网络/位置编码/层归一化，其注意力机制在语言任务中捕捉单词间关系，在图像任务中进行图像特征抽取，是大模型的技术基座[32][34][37] ChatGPT - 大型语言模型发展历经多个阶段，GPT - 3是语言模型转折点，有1750亿参数和涌现能力，ChatGPT是人工智能的IPHONE时刻，其训练基于GPT - 3.5，使用人类反馈的强化学习和近端策略优化算法微调[76][78][82] - GPT - 3系列和GPT - 3.5系列通过代码训练和指令微调增强能力，ChatGPT触发翔实回应、公正回应、拒绝不当问题和拒绝知识范围外问题的能力，多模态模型发展有开源的Meta的LLaMA系列、GPT - 4v和GPT - 4o等，各有不同能力提升[84][88][91] DeepSeek - 推理模型从生成到推理重心转变，DeepSeek - V3/R1是专家模型、强化学习、开源且高效，其技术全景图包括DeepSeek - V3 Base、DeepSeek - R1 - Zero、DeepSeek - R1和DeepSeek - R1 - Distill阶段，采用动态路由机制和专家共享机制，有极致工程优化[107][108][113] - DeepSeek - V3对标GPT - 4o，DeepSeek - R1对标OpenAI - o1，通过不同阶段训练提升推理能力和全场景能力，DeepSeek - R1 - Distill模型基于低参数量通用模型微调，可大幅提升性能和压缩参数[111][117][120] - 带来全栈影响，涉及大模型应用层、中间层和基础模型层，应用于教育、医疗等多个领域[121][122] 新一代智能体 - 从LLM到Agent发展，新一代智能体= Agent + LLM，LLM是Agent大脑，核心能力是逻辑推理，具备规划技能、工具使用和记忆能力，还有时空型GPT驱动的闭环多智能体协同系统实现时空智能自主化构建[126][132][137]

AI技术发展趋势 - 机器学习彻底改变对计算机能力的认知和期待，过去12-14年间计算资源、数据量和模型规模的扩大持续带来性能提升[5] - 算法和模型架构改进的影响超过硬件进步，导致计算范式从传统CPU为中心发生转变[5] - 神经网络和反向传播是深度学习革命的核心要素，2012年训练出规模空前的大型神经网络实现70%性能提升[7] - 2013年开发的Word2Vec词嵌入模型展现出语义相近词语向量聚集和向量方向具有语义意义两大特性[8] - 2014年开发的序列到序列学习模型为机器翻译等任务提供端到端解决方案[8] - 2017年提出的Transformer架构相比LSTM仅需1/10到1/100计算量就能取得更优性能[9] - 2018年开始流行利用自监督数据进行大规模语言建模，产生海量训练数据[10] - 2021年开发出将图像处理整合进Transformer框架的方法，统一文本和图像处理[10] - 2017年开发的混合专家模型(MoE)实现显著算法优势，训练计算成本降低8倍或相同成本下准确率提升[10] 硬件与基础设施创新 - 为神经网络推理构建定制化硬件TPU，比同期CPU和GPU快15到30倍，能效提升30到80倍[9] - 最新Ironwood Pod包含9216个芯片，总算力达42.5 TFLOPS，相比2018年首个训练Pod计算能力提升约3600倍[9] - 开发Pathways系统简化大规模计算执行，为开发者提供单一Python进程抽象层[11] - 推测解码技术利用小型"草稿模型"预测多个Token再由大模型验证，提高解码效率[13] - 知识蒸馏技术将大模型知识迁移到小模型，使用3%训练数据即可达到接近全量数据训练的效果[12] 多模态模型发展 - Gemini项目致力于打造全球最强多模态模型，能理解语言、视觉输入、音频并生成内容[16] - Gemini 1.5引入极长上下文长度，可处理百万Token内容如50篇研究论文或很厚的书[16] - 模型在编码能力、数学、多模态等方面表现优异，在LM Arena平台的Elo评分显著提高[16] - 多模态应用包括代码修复、极低资源语言翻译、视频理解与摘要、历史数据数字化等[20][21] - 通过高级自然语言提示生成代码，如使用P5js探索Mandelbrot集的可视化程序[21] 行业影响与未来方向 - 大语言模型正成为强大通用工具，能将专家知识普及给广大民众[23] - AI安全需要技术和政策监管双管齐下，包括检测错误信息和促进建设性讨论[24] - 数据尚未成为瓶颈，仍有海量未利用数据如视频数据，且可通过改进训练方法提升数据利用效率[25] - 下一个重大挑战是模型自主完成复杂任务的能力，如分解50个子步骤调用多种工具完成相当于一个月工作量的目标[26]

作者：linlin 编辑：haina 2025 年 3 月 11 日，语音生成初创公司 Cartesia 宣布完成 6400 万美元 A 轮融资，距其 2700 万美元种 子轮融资仅过去不到 3 个月。本轮融资由 Kleiner Perkins 领投，Lightspeed、Index、A*、Greycroft、 Dell Technologies Capital 和 Samsung Ventures 等跟投。Cartesia 还同时推出了其旗舰产品 Sonic 2.0， 系统延迟从 90 毫秒缩短至 45 毫秒，为语音 AI 领域高效、实时且低成本的多模态交互提供了新动 力。 Cartesia 的核心团队均来自 Stanford AI labs，包括 Karan Goel、Albert Gu、Arjun Desai、Brandon Yang 四位校友及其共同导师 Chris Ré。团队共同的研究方向在于 SSM（状态空间模型）。从 S4 到 Mamba 的 SSM 系列研究，以线性时间复杂度，为解决 LLMs 主流架构 Transformer 在上下文长度的 固有局限提供了潜在解决方案，意味着更快的生成速度、 ...

线性注意力机制的发展历程 - 线性注意力机制从2021年开始探索，当时被视为"看起来很美好的泡泡"，但公司团队坚持投入研发 [5][21] - 2023年底验证了15B规模的纯线性方案效果接近Transformer，但发现召回能力存在缺陷 [35] - 最终采用7层线性注意力混合1层Softmax注意力的架构，在4560亿参数模型上实现应用 [36][37] 技术优势与验证过程 - 线性注意力理论计算复杂度从二次降为线性，长序列处理速度比Full Attention快2700倍 [11][44] - 通过3700次预训练测试验证技术可行性，涵盖不同参数规模和架构方案 [41][42] - 在7B参数以上模型规模时，线性注意力优势开始明显显现 [16][17] 行业竞争格局 - 线性注意力与稀疏注意力是当前两大改进方向，2023年后线性方向热度上升 [17] - 公司认为线性架构上限更高，未来在长文本赛道具备优势 [50][51] - 目前行业对线性注意力仍存在非共识，部分认为其属于有损优化 [52][53] 产品化与战略布局 - 公司将80%研发资源投入线性架构模型开发，视为重大战略转型 [31][48] - 下一代计划推出深度推理原生多模态模型，预计4-5月发布 [58][60] - 开源4560亿参数模型MiniMax-01，但未提供小尺寸版本 [57] 技术挑战与解决方案 - 线性注意力存在GPU并行化难题，通过Lightning Attention提升实际运行效率 [22] - 召回能力缺陷通过混合架构解决，测试不同比例后选择1:7方案 [36][38] - 多模态实现采用adapter形式而非原生方案，以快速验证效果 [48]

神经常微分方程与液态神经网络 - 神经常微分方程（Neural ODE）通过将离散残差结构连续化，提出用同一常微分方程求解无限堆叠残差结构的参数，显著降低计算复杂度 [1][5][6] - 液态神经网络（LTC/NCP/CFC）基于Neural ODE思想，将循环神经网络离散时间步连续化，提升表征能力并增强抗噪声鲁棒性 [2][13][28] - LTC网络通过生物神经元启发的微分方程设计，在时间序列预测任务中相比传统RNN提升5%-70%性能 [14][15][20] - NCP网络模仿线虫神经系统结构，采用稀疏连接和分层设计，参数量仅为LSTM的4.3%（1,065 vs 24,897）但保持相当性能 [26][31][32] - CFC网络通过推导LTC微分方程的闭式解，避免数值求解过程，训练速度比ODE-RNN快97倍（0.084 vs 7.71分钟/epoch） [33][36][37] 量化选股实证结果 - 液态神经网络显存需求仅为GRU的5%-67%（CFC 6Gb vs GRU 120Gb），实现同等选股效果下大幅降低计算资源消耗 [40][41] - 不同液态网络因子与GRU的相关系数0.69-0.82，显示模型能从相同数据中提取差异化价量特征 [42][43] - NCP结构在2020-2024年回测中表现最优，多头年化收益率24.38%超过GRU的24.21%，夏普比率0.95优于GRU的0.88 [44][50][54] - CFC网络在2024年极端市场中保持稳健，多空年化收益率42.64%显著高于GRU的39.36% [45][58] - 液态神经网络整体多空夏普比率5.22-5.66，优于传统GRU的5.22，显示更强的风险调整后收益能力 [45][50] 技术优势比较 - 参数量：NCP(19神经元)仅253个突触连接，全连接LSTM(64神经元)需24,640个连接 [25][26][32] - 计算效率：CFC训练速度达ODE-RNN的92倍（0.097 vs 8.49分钟/epoch），LTC采用半隐式欧拉法平衡精度与速度 [17][36][37] - 鲁棒性：NCP在噪声环境下碰撞次数比LSTM低63%，异常数据识别准确率保持85%以上 [28][30] - 可解释性：NCP神经元分工明确，可通过微分方程分析单个神经元对决策贡献 [32][38] - 内存占用：CFC前向传播内存复杂度O(1)，传统BPTT方法为O(L×T) [19][33]

软件编程与人工智能建模的范式转变 - 传统软件编程依赖明确的指令代码，适合确定性场景但缺乏动态适应能力[2] - AI软件建模通过数据训练学习模式，使用概率推理处理不确定性，模型复杂度体现在参数规模而非代码量[3] - 高级AI模型如LLM包含数千亿至数万亿参数，依赖多维矩阵数学运算，每个时钟周期并行处理所有参数[3] 处理硬件的影响 - CPU采用串行执行架构，多核多线程提升并行性但仍无法满足AI模型的并行需求[4] - 高端CPU计算能力达几GigaFLOPS，内存带宽峰值500GB/s，内存容量达TB级[5] - GPU提供PetaFLOPS级性能，比CPU高两个数量级，但运行GPT-4时效率可能降至理论峰值的5%[6] - GPU高功耗引发可持续性问题，专用AI加速器（如ASIC）在计算效率和能耗上更具优势[7] AI加速器的关键属性与挑战 - 关键指标包括批处理大小和token吞吐量，需平衡延迟与吞吐量需求[8] - 大批量提升吞吐量但增加内存带宽压力，实时应用（如自动驾驶）需批量大小为1以最小化延迟[12] - 连续批处理技术动态添加输入，减少延迟并提升整体效率[13] - Token吞吐量依赖计算效率和数据移动优化，需首次token输出时间最短[14][15] 内存与计算瓶颈 - 内存带宽是主要瓶颈，大批量导致缓存未命中及访问延迟增加[9][19] - 高带宽内存（HBM3）和智能片上缓存可缓解内存瓶颈[21] - LLM依赖并行矩阵运算和注意力机制，计算瓶颈需专用硬件（如矩阵乘法单元）和混合精度计算（FP8）解决[19][22] 优化方向 - 硬件创新包括类似寄存器的缓存结构、专用加速器设计及高效数据流架构[21][22] - 软件优化涵盖定制化内核、梯度检查点减少内存占用、管道并行提升吞吐量[23] - 混合精度计算在保持模型精度前提下降低内存带宽需求和计算开销[22] 行业技术趋势 - Transformer架构需每个token关注全部历史token，增量Transformer按序计算token提升流式推理效率但增加内存需求[16] - 不规则token模式和自回归模型依赖可能导致硬件管道停滞，需优化调度策略[17] - AI加速器仍处早期阶段，需结合内存架构创新与数据流优化以突破性能限制[18][20][24]