Transformer架构
搜索文档
深度|对话Cerebras CEO:3-5年后我们对Transformer依赖程度将降低,英伟达市占率将降至50-60%
Z Potentials· 2025-04-06 12:55
AI对芯片需求的改变 - AI运算的核心挑战在于海量简单计算伴随频繁数据转移 传统芯片架构在内存带宽和通信效率上存在瓶颈[4][5] - 生成式推理对内存带宽提出极高要求 例如700亿参数模型生成单个词需移动140GB数据[5] - 晶圆级集成技术突破SRAM容量限制 单个晶圆即可承载4000亿参数模型 相比传统方案需4000枚芯片的复杂度实现数量级提升[6][7] 技术架构创新 - Cerebras采用晶圆级SRAM阵列 相比HBM方案在推理效率上具有显著优势 第三方测试显示其保持多个模型的最快推理记录[9][10][11] - 独创冗余tile设计解决晶圆良品率难题 实现70年来首个完整晶圆交付 良品率甚至超越传统小芯片厂商[12][13] - 架构设计针对不同场景优化:批处理任务优先成本控制 交互场景追求极致延迟 如将45秒响应缩短至毫秒级可显著改善用户体验[14][15] 行业发展趋势 - 推理市场呈现"三增长"特征:用户数×使用频率×单次算力需求同步爆发 未来五年规模或超当前100倍[16][19] - 2024年末AI应用完成从"新奇玩具"到"工作流必备"的转变 普通用户依赖度推动市场质变[18] - 算法效率存在巨大优化空间 当前GPU推理利用率仅5%-7% 未来通过芯片能效提升+算法改进可实现同等功耗下更高输出[23][24] 竞争格局分析 - 推理领域不存在CUDA生态锁定效应 用户可快速切换不同硬件平台 英伟达护城河主要来自市场主导地位而非技术不可替代性[36][37] - 硬件领域资本密集度构成天然壁垒 预计五年后英伟达训练领域保持优势但推理市占率降至50%-60%[38][39] - 模型公司短期高估值源于不确定性溢价 长期将回归盈利能力评估 硬件供应商企业价值可能持续领先[40] 技术突破方向 - Transformer架构存在二次计算缺陷 未来3-5年内将被基于状态的新架构取代 注意力机制仍有改进空间[32] - 合成数据填补高危场景训练空白 如自动驾驶中的暴雪天气无保护左转等极端情况模拟[26] - 传感器端毫瓦级推理芯片将成为机器人技术基石 虽单芯片价值低但出货量潜力巨大[63] 企业战略部署 - Cerebras通过G42合作积累三大能力:超大规模算力部署经验 软件集群验证 供应链产能跃升 该订单规模超10亿美元[42][46] - 选择IPO的核心考量包括行业首批上市企业溢价 以及满足大客户对合作方透明度的要求[45] - 技术不对称优势是应对竞争的关键 晶圆级集成方案目前全球独家 良品率控制技术构筑壁垒[12][37]
湖南95后女博士,力挑谷歌,要造思考时"不发烧"的AI
创业邦· 2025-03-19 17:28
公司背景与技术路线 - 陆兮科技由两位95后女性于2023年创立,是国内首家"类脑计算生态链"企业,专注于非Transformer架构的类脑技术路线 [2] - 2024年推出国产自研大模型NLM,推理效率提升数倍,能耗降低80%以上,并通过国家网信办两项备案 [2][12] - 创始人兼CTO周芃为类脑智能领域专家,16岁考入华中科技大学,27岁获IEEE达灵顿奖,拥有软硬件协同研发的全球独家成果 [6][7] 技术架构创新 - 类脑算法模仿人脑神经元结构,采用稀疏激活机制和存算一体设计,仅激活相关神经元,减少无效计算,对比Transformer架构可定位特定信息无需全局回溯 [4][12] - 自研NEURARK类脑架构突破传统矩阵乘法,实现隐状态管理和无矩阵乘法架构,在算力消耗、存储占用等维度性能提升数倍 [12][17] - 模型支持10B量级参数在FPGA等低制程芯片部署,摆脱对英伟达GPU依赖,可在手机CPU等终端设备离线运行 [10][13] 商业化与行业应用 - 类脑大模型已预部署于医疗、水利、能源等20余个基础设施行业,与国央企合作落地三甲医院、洪涝预警等场景 [15] - 端侧模型覆盖手机、智能家居等消费电子产品,实现百元级设备100%离线部署,如NLM-GPT仅需手机处理器即可运行 [15] - 当前参数规模580亿,计划2025年提升至6000亿,目标逼近人脑100万亿参数规模,推动类脑架构爆发式发展 [16] 行业竞争与战略定位 - 挑战Transformer架构垄断地位,与微软RetNet、Mamba等共同探索降本增效路径,定位为"主权AI"核心自研技术 [3][7] - 联合华为、海光等国产芯片厂商,通过FPGA和ASIC芯片设计唤醒成熟制程性能冗余,突破先进制程限制 [9][10] - 公司女性员工占比超50%,倡导包容性文化,创始人认为女性领导力是长期稳健发展的优势 [16]