Transformer 架构

搜索文档
理想自研智驾芯片上车路测,部分计算性能超英伟达Thor-U
凤凰网· 2025-08-28 16:16
自研芯片进展 - M100芯片于今年一季度完成样片回片并迈过量产关键阶段 随后在两周内完成功能测试和性能测试 目前小批量上样车进行道路测试 [2] - M100预计明年量产上车 在此之前公司仍依赖英伟达和地平线作为合作伙伴 近期已加强芯片部门信息管控以保障战略安全和合作关系 [2] 芯片性能表现 - 在处理大语言模型计算任务时 1颗M100有效算力相当于2颗英伟达Thor-U [2] - 在处理卷积神经网络视觉任务时 1颗M100有效算力可对标3颗英伟达Thor-U [2] 研发投入与策略 - 自研芯片项目规划资金预算达数十亿美元 [3] - 研发工作涵盖NPU SoC等硬件以及软件开发与适配 形成多层解决方案 [3] - 采用软硬结合研发策略 通过软件调度提升芯片硬件算力利用率 实现性能降维打击 [3] 技术挑战与行业趋势 - 自研芯片需突破算法 编译器和芯片设计技术深度 打破硬件瀑布式开发与软件敏捷迭代壁垒 构建跨部门协同流程 [4] - 智驾芯片设计重心从卷积神经网络优化转向对Transformer架构的原生高效支持 尤其关注FP4 FP6等超低精度优化 [4] 产品配置策略 - 纯电车型MEGA和i8全系搭载英伟达Thor-U芯片 纯电SUV i6也有意全系采用英伟达方案 [4] - L系列增程车型根据AD Max和AD Pro版本分别搭载英伟达Thor-U或地平线征程6M芯片 [5] 自研核心动机 - 专用芯片可针对公司算法进行特定优化 实现更高性价比和效率 [5] - 当前使用英伟达芯片因其对新算子支持较好且算力充足 未来算法锁定后将通过自研实现更优效率和成本 [5]
硬核「吵」了30分钟:这场大模型圆桌,把AI行业的分歧说透了
机器之心· 2025-07-28 12:24
大模型技术演进与发展之路 核心观点 - 大模型技术从预训练为主转向强化学习主导的范式转变 [10][17][19] - 行业面临Transformer架构局限性、数据枯竭、开源闭源博弈等核心挑战 [31][41][59] - Agent应用爆发与基础模型研发需双轨并行 [53][54][55] 训练范式转变 - OpenAI从GPT-4o的预训练主导转向o1的强化学习后训练,提出测试时间扩展新维度 [13][14][15] - 强化学习可解决行为克隆难以建立目标导向推理能力的问题,但需突破自然语言反馈限制 [21][22][23] - 预训练仍是强化学习冷启动的基础,但需解决奖励机制和算力效率挑战 [25][26][27] 模型架构演进 - Transformer面临O(n²)扩展性、显存占用和长期记忆三大瓶颈 [31] - 优化路径包括RoPE位置编码、分组查询注意力等改进,以及Mamba等非Transformer架构探索 [33][34] - 智能体时代可能推动RNN架构回归,需建模无限上下文能力 [37][38] 数据供给挑战 - 高质量语料预计2028年耗尽,合成数据被Anthropic/OpenAI等广泛应用但存在迭代崩溃风险 [41][42][43] - 英伟达提出物理仿真生成边缘案例,需建立真实世界验证闭环 [44][45] - 行业数据未充分挖掘,应建立非敏感数据共享机制提升预训练质量 [46][48][51] 商业化落地路径 - 2025年Agent产品成爆点(如OpenAI Operator、智谱AutoGLM),但基础模型研发仍持续 [53][54] - 大模型当前相当于自动驾驶L3阶段,距AGI仍有差距 [55] - 金融等领域落地需突破大规模数据处理等技术瓶颈 [56][57] 开源生态影响 - DeepSeek等开源模型性能逼近闭源,冲击传统GPU/闭源产业链 [60][61] - 开源推动资源合理配置并形成行业压力,但需解决分叉滥用问题 [63][64][67] - 英伟达支持开源算力引擎,未来可能走向混合模式 [65][66]