Workflow
软硬协同
icon
搜索文档
大模型进入万亿参数时代,超节点是唯一“解”么?丨ToB产业观察
钛媒体APP· 2025-08-08 17:57
模型发展趋势 - 企业级应用侧小参数模型成为落地最佳选择 通用大模型参数进入万亿时代 [2] - MoE架构驱动大模型参数规模提升 如KIMI K2开源模型总参数量达1.2万亿 每个Token推理仅激活32B参数 [2] 算力系统挑战 - 万亿参数模型训练算力需求激增 GPT-3训练需2.5万张A100 GPU运行90-100天 万亿模型需求可能达数十倍 [3] - 模型并行和数据并行导致跨节点通信开销大 GPT-4训练算力利用率仅32%-36% 受显存带宽限制 [3] - MoE模型训练稳定性挑战大 梯度范数频繁突刺 KV cache存储需求呈指数级增长 [3] 显存与计算需求 - FP16格式下万亿参数模型权重需20TB显存 动态数据需求超50TB GPT-3需350GB显存 万亿模型需2.3TB [4] - 长序列训练使计算复杂度平方级增长 2000K Tokens训练加剧内存压力 [4] - MoE路由机制导致专家负载不均衡 部分专家过度使用成为瓶颈 [4] 解决方案与技术进展 - 阿里云提出全局负载均衡损失 使模型PPL降低1.5个点 [5] - AI技术方向从预训练转向推理 算力需求从训练侧转向推理侧 [5] - MoE架构分布式训练通信时间占比高达40% 需构建更大Scale Up高速互连域 [5] Scale Up系统优势 - Scale Out集群节点间通信瓶颈放大 InfiniBand时延达10微秒 Scale Up系统将数百颗AI芯片封装为统一计算实体 [6] - 并行计算技术如专家并行、张量并行可拆分模型权重与KV Cache到多芯片 [6] - 构建大规模Scale Up系统是解决万亿模型计算挑战的唯一可行路径 [6] 产品与架构创新 - 浪潮信息发布超节点AI服务器"元脑SD200" 支持64路本土GPU芯片 可单机运行1.2万亿参数Kimi K2模型 [7] - 元脑SD200采用多主机低延迟内存语义通信架构 支持多模型同时运行 [7] - 3D Mesh系统架构实现64卡P2P全互连 拓展跨域互连能力 [8][9] 软硬协同与未来方向 - 软硬协同是突破算力瓶颈核心路径 字节跳动COMET技术将MoE通信延迟从0.944秒降至0.053秒 [10] - 超节点功耗密度达兆瓦级 需软件适配动态功耗调节避免过热降频 [11] - Scale Up与Scale Out将同步发展 Scale Up成为大模型技术重点探索领域 [9]
对话地平线陈黎明:不应该无限制地去追求算力的增长
中国经营报· 2025-08-01 23:21
行业趋势 - 中国汽车产业智能化转型进入关键阶段,智能化取代电动化成为产业升级主引擎 [2] - 智能驾驶发展从"有没有"过渡到"好不好"及"效率高不高"阶段,产业竞速围绕体验、算力、成本平衡展开 [2] - 中高阶智驾已迎来拐点,未来将像智能手机和电动汽车一样迎来大规模发展 [9] 技术发展 - 智能驾驶性能突飞猛进,中国在应用创新方面持续引领行业发展 [8] - 算法创新层出不穷,模型参数持续增加,行业对算力需求不断上升 [11] - 地平线最新旗舰芯片征程6P算力达560 TOPS,较征程5(128 TOPS)提升显著 [11] - 算法优化技术(如Vision Mamba)可显著提高计算效率,降低资源占用 [12][13] 商业模式 - 智驾平权成为行业必然趋势,推动技术发展和成本下探 [9] - 特斯拉FSD进入中国市场将推动行业发展,在部分场景表现优于国内系统 [10] - 预计未来80%-90%车企会选择与供应商合作,形成2:8或1:9的分工格局 [17][18] 企业竞争力 - 未来行业将仅存3-4家主要技术提供商 [3][19] - 存活企业需具备技术引领能力、快速响应能力和强大工程系统能力 [20] - 地平线坚持软硬协同技术路线,通过算法与芯片深度结合实现高性能低成本 [14][15] 技术挑战 - 城区NOA目前仅达"可用"水平,尚未实现"好用",需提升算法、算力、数据和工程能力 [11] - 行业面临性能、成本和体验平衡难题,需通过工程能力实现高效技术转化 [14] - 智能驾驶芯片需采用软硬结合方式应对多模态数据处理需求,通用处理器方案不现实 [15]
四大方向,50项课题!2025第一批“CCF-蚂蚁科研基金”正式发布
全景网· 2025-07-18 15:10
科研基金概况 - 2025年"CCF-蚂蚁科研基金"第一批课题覆盖数据安全与隐私保护、软硬协同、超算与智算、人工智能四大方向,课题总数达50项创历年新高,资金规模超千万[1] - 该基金由蚂蚁集团与中国计算机学会于2020年联合发起,5年累计支持额度超5000万,吸引近千位专家学者申报,支持超150个科研项目[1] 研究方向与课题分布 - 方向一数据安全与隐私保护聚焦密态计算、后量子安全、容器安全等,旨在为数据安全可信流通提供全链路保障[3] - 方向二软硬协同围绕同态加密性能优化、操作系统创新及形式化验证开放15项课题[4] - 方向三超算与智算聚焦高性能计算、大模型训推一体、推理优化等开放5项课题[4] - 方向四人工智能开放26项课题,包含推理加速技术、多智能体协作、强化学习、多模态大模型、医疗大模型等基础与应用技术[4] 产学研结合与战略布局 - 基金以产学研为特色连接产业实践与学术科研问题,支持全球高校学者开展前沿探索[3] - 数据要素和人工智能是蚂蚁集团两大科技战略,2024年研发投入达234.5亿元,AI应用覆盖医疗、金融、生活场景累计服务1.3亿用户,"AI健康管家"截至2024年6月服务超7000万用户[4] 学术生态建设 - 蚂蚁集团将与CCF共创学术交流活动,支持青年学者发展、218Club成长及CNCC论坛参与,打造系统化科研合作与人才交流平台[4]
蔚来自研神玑芯片落地:一次难而正确的长征
中国汽车报网· 2025-07-08 17:19
核心观点 - 蔚来通过自研5nm车规工艺高阶智驾芯片"神玑NX9031"与NT Cedar/S"雪松"智驾系统的深度耦合,实现了"芯片+操作系统+核心算法"全栈技术闭环,标志着中国智能汽车产业在核心技术领域取得关键突破 [2][9] - 公司选择了一条高投入、长周期的技术自研路径,十年累计研发投入超600亿元,拥有9900项全球专利,构建从芯片层到算法层的完整技术主权 [4][6] - 自研高端智能驾驶芯片面临特斯拉和英伟达的双重竞争压力,后者合计占据市场主导地位,但蔚来通过持续高强度投入(年均30亿元)突破了5nm车规芯片的设计与制造难题 [5][6] - 软硬协同的战略使公司获得技术自主权,神玑芯片与SkyOS操作系统、NWM世界模型的深度耦合提升了智能驾驶体验,形成差异化竞争力 [9][10] - 市场短期认知与长期价值创造存在错配,公司核心技术成果被低估,但前瞻性布局正逐步成为行业主流发展方向 [12][14] 技术突破 - 神玑NX9031芯片采用5nm制程工艺,满足三大设计目标:十年算法迭代的算力储备、最高等级SLD功能安全标准、极端环境下的图像处理效能 [6] - 芯片与雪松智驾系统实现"满血耦合",这是公司首次完成自研硬件与软件的深度整合,突破传统拼凑式集成方案的效率瓶颈 [2][9] - 技术自主权带来供应链安全与产品定义自由,摆脱对英伟达等国际供应商的依赖,可自主控制技术路线与交付节奏 [9] 行业竞争格局 - 特斯拉HW4.0已在中国上市,HW5.0算力将达十倍跃升,英伟达占据高阶智驾芯片51.4%市场份额,形成类似手机芯片领域苹果与高通的双寡头格局 [5] - 国内同行加速跟进:小米布局"大芯片"玄戒O1,小鹏7nm"图灵"芯片即将装车,验证蔚来技术路线的行业引领性 [14] - 行业普遍聚焦"冰箱彩电"配置堆砌与价格战,公司选择底层技术攻坚的战略差异明显 [4][7] 研发投入与挑战 - 芯片研发累计投入超百亿元,日均研发支出近2000万元,流片成本单次达数亿美元 [6] - 车规芯片需满足极端环境可靠性要求,设计复杂度远超移动芯片,且国内产业链基础薄弱 [6] - 长期高强度投入导致短期财务压力,在市场追求速成的环境下承受"投入是否值得"的质疑 [7][12] 战略价值 - 构建"技术主权"形成终极护城河,在智能电动车同质化竞争中奠定差异化基础 [10] - 自研体系涵盖芯片、SkyOS操作系统、线控底盘等核心技术,形成完整自主技术栈 [12][14] - 前瞻布局多次引领行业:瞭望塔激光雷达、全铝车身等创新已成为行业主流方案 [14] 市场认知 - 短期销量波动和财务表现掩盖了公司在核心技术、充换电网络、全球化布局等体系化能力的长期价值 [12] - 市场过度关注月度销量数据,忽视近万项专利和核心技术资产的价值重估潜力 [12][13] - 随着神玑芯片装车量提升和技术成果转化,公司技术体系价值有望获得市场认可 [13][14]
英伟达悄然收购多伦多AI初创公司CentML,强化GPU优化技术布局
环球网· 2025-06-28 10:45
收购事件概述 - 全球芯片巨头英伟达低调完成对加拿大AI初创公司CentML及其核心技术的收购 [1] - 至少三位联合创始人及15名工程师已加入英伟达 [1] - CentML于2025年7月17日起正式停止运营 [4] 被收购公司背景 - CentML成立于2022年 由多伦多大学副教授Gennady Pekhimenko联合创立 [3] - 核心团队包括首席技术官Sam Wang和首席运营官Akbar Nurlybayev [3] - 公司此前获得总计3090万美元风险投资 投资者包括谷歌母公司Alphabet旗下Gradient Ventures和英伟达等 [4] - 2023年10月完成2700万美元种子轮融资 [4] 核心技术优势 - 自主研发的张量编译器Hidet可将AI模型推理速度提升最高8倍 [3] - 在内部测试中 Hidet将Llama 2模型的运行速度提高了三倍 [3] - 开发了DeepView工具 用于监控AI模型训练过程并预测部署成本 [3] 行业影响 - 此次收购是英伟达2025年AI生态布局的重要一环 [4] - CentML技术将加速英伟达在异构计算领域的突破 [4] - 凸显AI行业对"软硬协同"的重视 未来芯片厂商竞争将更多围绕生态整合能力展开 [4] - Hidet编译器有望被整合至英伟达CUDA工具链中 [4]
小米集团-W:智能手机出货份额重回国内第一,单季营收、经调整净利润再创新高-20250529
光大证券· 2025-05-29 15:45
报告公司投资评级 - 维持公司“买入”评级 [5] 报告的核心观点 - 小米2025年一季度业绩出色,收入和经调整净利润创新高,各业务表现良好,自研技术突破完善“人车家全生态”,构筑竞争优势,上调2025 - 26年Non - IFRS净利润预测并新增2027年预测 [1][5] 各业务总结 智能手机业务 - 1Q25出货连续19个季度居全球前三,国内高端机出货占比提至25%,全球出货4180万台同比增3%,中国出货市占率18.8%同比升4.7pct、时隔十年重回第一,出货同比增速40%远超行业 [2] - 1Q25手机ASP提至1211元,同比增5.8%、环比增0.7%,受益于国补和国内出货占比提升 [2] - 1Q25手机业务毛利率12.4%,较4Q24环比升0.4pct,得益于海外市场产品结构改善 [2] IoT业务 - 1Q25收入323亿元,同比增速59%,科技家电收入同比增速113.8%,空调、冰箱、洗衣机出货量同比大幅增长,全球平板和可穿戴产品出货表现亮眼 [3] - 受益于品牌力、零售渠道和国补政策,2Q25 - 4Q25营收有望延续增长 [3] 互联网业务 - 1Q25服务收入同比增13%至91亿元,广告业务营收同比增20%带动增长 [3] - 1Q25全球/中国大陆MAU分别达7.2/1.8亿,均创新高 [3] 汽车及AI等创新业务 - 1Q25业务收入186亿元,毛利率提至23.2%,经营亏损5亿元,汽车交付量环比升8.9%至75,869辆,ASP升1.7%至23.8万元,销售门店达235家 [4] - 5M25小米YU7系列亮相,预计7M25正式上市,具备多项高端配置 [4] 盈利预测、估值相关 - 上调2025 - 26年Non - IFRS净利润预测至464/656亿元(上调幅度13%/18%),新增2027年预测849亿元 [5] - 给出2023 - 2027年营业收入、增长率、Non - IFRs净利润、增长率、Non - IFRs每股收益、调整后P/E等盈利预测数据 [5] 财务报表预测 损益表 - 给出2023 - 2027年主营收入、智能手机、IoT与生活消费产品、互联网服务、其他、汽车、营业成本、毛利等多项财务指标预测 [9] 资产负债表 - 给出2023 - 2027年总资产、流动资产、现金及短期投资、有价证劵及短期投资等多项资产负债指标预测 [10] 现金流量表 - 给出2023 - 2027年经营活动现金流、投资活动现金流、自由现金流、融资活动现金流、净现金流等多项现金流指标预测 [11]
慧博云通力推重大并购股价飙升,对赌风险高悬变乱交织
21世纪经济报道· 2025-05-20 17:31
并购交易核心 - 慧博云通拟以"股权+现金"方式收购宝德计算67.91%股份,剩余32.09%股份由原控股股东继续持有[2] - 交易发行价为20.26元/股,同时向实际控制人余浩及战略投资者长江产业集团募集配套资金[2] - 收购目的是布局昇腾AI领域整机厂商,推动国产软硬件生态协同,形成"算力+算法+场景应用"全栈闭环能力[2][8] - 宝德计算2024年在昇腾服务器市场排名第三、鲲鹏服务器市场排名第四[7] 公司业务布局 - 慧博云通成立于2009年,最初主营移动智能终端测试服务,后拓展至软件外包、人工智能解决方案等领域[3] - 2022年上市后连续收购百硕同兴科技65%股权、麦亚信科技52%股权及宁波极科信息全部股权,完善金融科技布局[4] - 2024年金融科技业务营收4.65亿元(同比+35.62%),占总收入26.66%,成为第二增长曲线[5] - 宝德计算成立于1997年,早期代理康柏电脑,1999年转型服务器研发,现为昇腾/鲲鹏等国产芯片服务器主要厂商[6] 行业趋势与协同效应 - 行业呈现"软硬协同"趋势,中科曙光、浪潮信息等硬件厂商加速信创转型,中国软件等软件企业通过并购布局硬件[9] - 收购有望补充AI硬件能力,形成软硬件综合解决方案交付优势,提升在国产算力领域的稀缺性[9] - 宝德计算2024年中标50亿元订单,硬件高毛利特性或改善慧博云通盈利能力(2024年营收17.43亿元/+28%,扣非净利7024万元)[10][11] 标的公司潜在问题 - 宝德计算IPO辅导期间暴露经营范围重叠、对赌协议未解除、原董事长/董事受行政处罚等问题[15] - 对赌协议涉及控股股东与部分外部投资方,目前尚未完全解除[15] - 2024年11月董事会大换血,李瑞杰之子李逸龙接任董事长[16]