Workflow
大语言模型
icon
搜索文档
昇腾杀手锏FlashComm,让模型推理单车道变多车道
雷峰网· 2025-05-22 19:29
大模型推理中的通信挑战与华为解决方案 核心观点 - 华为通过创新通信技术突破MoE模型推理中的三大通信难题,显著提升大模型推理效率[1][19] 大模型推理的通信基础 - 大语言模型参数规模呈指数级增长,部署形态从单卡演进至数百卡集群,MoE模型成为新趋势[2] - 集合通信操作(如AllReduce、All-Gather)是大模型多节点协作的关键,支持张量并行(TP)、数据并行(DP)、专家并行(EP)等策略[4][5] MoE模型的通信痛点 - MoE模型参数突破千亿级别,专家数量增长导致通信带宽需求呈平方级增长,引发网络拥塞[6] - 传统AllReduce在TP方案中跨节点带宽受限,端到端推理时延占比过高[7] - 计算与通信强耦合导致硬件资源利用率低下,流程串行化加剧性能瓶颈[6][11] 华为三大技术创新 1 多流并行技术 - 将MoE计算流程拆解为激活通信、门控决策等模块,通过昇腾多流引擎实现三股计算流并行[12] - 采用TP8分片与流水线技术,多卡并行时释放2GB内存,DeepSeek模型Prefill阶段提速超10%,Decode吞吐提升25%-30%[12] 2 AllReduce革新 - 将AllReduce拆解为ReduceScatter+AllGather,插入INT8动态量化技术使通信量降35%[14] - 关键计算量减少至1/8,DeepSeek Prefill性能提升22-26%,Llama3.1-70B Decode性能提升14%[14] 3 以存换传技术 - 通过矩阵乘法并行维度调整,将三维张量压缩为二维矩阵,注意力机制阶段通信量降86%[15] - 结合INT8量化使DeepSeek整体推理速度提升33%[15] 技术体系与未来方向 - FlashComm系列技术通过通信算子重构、数据维度优化和计算流程并行化实现端到端加速[19] - 未来将聚焦超大规模EP下的权重自动预取、模型自动多流并行等方向[19] 行业影响 - 华为技术已应用于DeepSeek V3/R1等超大规模MoE模型,国产芯片推理性能达国际领先水平[21] - 昇腾平台实现MoE专家动态部署优化,系统吞吐提升10%[21]
鸿蒙折叠电脑官网预约量超10万
第一财经· 2025-05-22 14:08
鸿蒙电脑及手机市场表现 - 鸿蒙电脑预约量接近14万人,其中售价23999元起的折叠电脑预约人数超过10万 [3] - nova系列备货量是上一代的两倍,首销表现乐观 [3] - nova14系列备货量达千万级别,下月将上市搭载鸿蒙的旗舰手机 [3] 鸿蒙AI技术战略 - 公司内部成立"543"战略项目,整合终端及多部门资源开发旗舰手机方案 [5] - "543-AI"子项目专注于鸿蒙原生智能系统规划,目标将AI融入终端设备核心 [5] - 智慧助手小艺通过大语言模型训练具备语言泛化能力和手机功能融入能力 [5] - 小艺能感知11种情绪,提供"真人感"沉浸式对话 [6] - 鸿蒙原生应用和元服务已达2万多个,目标年内达到10万个应用 [6] 鸿蒙生态发展现状 - 鸿蒙5上线后已进行30多次版本更新,新增150多项功能 [9] - 鸿蒙原生应用开发数量最快两个月增长20倍 [9] - 在中国市场鸿蒙份额连续四个季度超越iOS,2024年Q4达19%,iOS为17% [10] - 公司计划保持每年数千万台鸿蒙手机产能以支撑海外生态拓展 [10] 产品市场表现 - 一季度公司以19.4%市场份额领跑中国手机市场 [9] - nova13系列周均销量超10万台,一季度销量占比约20% [9] - nova14系列预计将继续渗透中高端市场 [10] 行业竞争格局 - 全球手机操作系统正从Android/iOS两强向鸿蒙加入的三足鼎立转变 [10] - 当前鸿蒙发展重心仍集中于国内市场,海外市场需解决跨境应用问题 [10]
速递|Alation收购Numbers Station欲破解LLM“幻觉”困局​​,​​工作流自动化落地企业的关键拼图
Z Potentials· 2025-05-21 11:38
企业数据智能平台Alation收购Numbers Station - Alation收购AI原生数据应用初创公司Numbers Station 交易条款未披露[1] - Numbers Station为A轮公司 已融资超1700万美元 投资方包括Norwest Venture Partners等[1] - 计划本季度末完成产品整合 因双方基础架构具有互补性[1] 收购战略价值 - Numbers Station的AI Agent技术可处理结构化数据 填补LLMs与企业数据间的翻译层[2] - Alation前联合创始人Venky Ganti曾在Numbers Station工作 促进收购协同[2] - 收购加速工作流自动化方案落地 比自研更快 Alation原计划本季度发布自研数据质量代理[2] 技术整合方向 - Alation贡献元数据/数据上下文/连接器库 Numbers Station贡献LLMs操作技术[2] - 解决LLMs在企业规模化应用的关键问题 使其能与企业核心数据库直接对话[2] - 当前LLMs存在幻觉问题 阻碍企业有效采用AI数据工具[1] 公司背景 - Alation成立于2012年 服务600+企业客户包括纳斯达克/赫兹/三星[2] - 累计融资超3亿美元 投资方含General Catalyst等 2022年估值达17亿美元[2]
大语言模型“吵架水平”超越人类
环球网资讯· 2025-05-21 10:57
该研究的辩论采取了一种结构性方法,而现实世界辩论的自由度更高,且辩论有时间限制。研究者指 出,研究结果揭示了人工智能驱动的工具影响人类观点的潜力,可能对在线平台的设计具有借鉴意义。 (冯维维) 相关论文信息: https://doi.org/10.1038/s41562-025-02194-6 《中国科学报》 (2025-05-21 第2版 国际) 来源:中国科学报 科学家发现,在线辩论中,GPT-4一类的大语言模型(LLM)如能根据对手的个性化信息调整论据,其 说服力将比人类高64.4%。研究显示,GPT-4具有生成有针对性和说服力论据的能力,并提出应进一步 研究如何降低其用于说服时的风险。相关研究5月19日发表于《自然-人类行为》。 有研究显示,随着人类与LLM的对话日益普遍,LLM可能变得更有说服力,即能改变一个人的信念或 观点。然而,之前并不清楚这些模型能否根据个性化信息进行调整,提出更能针对辩论对手的论点。 瑞士洛桑联邦理工学院的Francesco Salvi和同事分别将900名美国人与另一个人或GPT-4配对,使双方辩 论各种社会政治议题。在有些配对中,辩论对手——无论是人工智能还是人类,均能获得 ...
大语言模型在线辩论说服力超人类
快讯· 2025-05-20 06:01
《自然.人类行为》19日发表的一项人工智能(AI)研究发现,在线辩论中,GPT-4一类的大语言模型 (LLM)如能根据对手的个性化信息调整它们的论据,其说服力比人类辩手高出64%。研究结果显示了 GPT-4生成有针对性和说服力论据的能力,揭示出AI工具拥有影响人类观点的潜力,同时也提出应进一 步研究如何降低其说服人类时存在的风险。 ...
展鹏科技加速推进双主业融合 公司所处的电梯配件行业竞争大幅加剧 受此影响去年营业收入同比有所下降
证券日报· 2025-05-20 00:11
公司业绩 - 2024年营业总收入4.69亿元同比下降6.80% 归属于上市公司股东的净利润996.39万元同比下降87.80% [2] - 2025年一季度营业收入5424.13万元同比下降25.86% 归属于上市公司股东的净利润-1512.60万元同比由盈转亏 [2] - 剔除领为军融后原有电梯控制系统相关产品净利润为-695.79万元 [2] 业务表现 - 电梯配件业务面临行业淡季及激烈价格竞争 军事仿真业务在手合同验收项目较少导致收入利润下降 [3] - 领为军融主营业务为军事仿真系列产品 核心产品为"便携式通用数字空战仿真系统" [3] - 领为军融无锡分公司1700平方米已落地展鹏科技厂区 双方在座舱采集系统等领域展开研发合作并取得部分成果 [3] 双主业发展 - 完成对领为军融控股权收购 形成"电梯控制系统+军事仿真系统"双主业格局 [2] - 机电一体化研发能力提升领为军融硬件产品竞争力 与软件仿真技术实现优势互补 [5] - 电梯控制系统板块将研发新型门系统产品并开拓电梯远程智能化监测领域 [5] - 军事仿真板块将结合大语言模型升级产品平台提升性能及易用性 [5] 行业挑战 - 电梯配件行业竞争大幅加剧 作为房地产上游企业面临前所未有的挑战 [2] - 军事仿真领域具有高技术门槛和行业壁垒 需投入大量资源进行技术研发和市场拓展 [4] - 新业务与原有业务在技术、市场、管理等方面存在差异 需实现有效整合和协同发展 [4]
并行科技(839493) - 投资者关系活动记录表
2025-05-19 20:05
行业发展情况 - 2025 年中国智能算力规模预计达 1037.3EFLOPS,同比增长 43%;2023 - 2028 年五年年复合增长率预计达 46.2% [4][27][31] - 2024 年国产算力芯片替代进程显著加速,2025 年国产算力可能进入“政策 + 市场”双驱动阶段 [4] - 国家统筹布局算力资源建设,2024 年提出适度超前建设数字基础设施,2025 年提出优化全国算力资源布局 [27] - 算力服务市场推广和应用提高,市场教育程度趋于成熟,未来算力服务矩阵将更完善 [27] - 绿色节能成为未来市场发展主题,我国将推动算力行业绿色节能发展 [28] 公司业绩表现 2024 年度 - 实现营业收入 65461.73 万元,算力服务收入超 61400.33 万元,同比增长 48.27% [5][9][10] - 实现归属于上市公司股东的净利润 1205.67 万元,同比扭亏为盈 [5][10] 2025 年第一季度 - 实现营业收入 19827.30 万元,同比增长 51.68%,算力服务收入 19371.74 万元,同比增长 52.34% [8][10] - 归属于上市公司股东的扣除非经常性损益后的净利润为 335.70 万元,同比增长 43.77% [8] - 实现归属于上市公司股东的净利润 359.40 万元 [10] 公司财务状况 - 2024 年期末,三年以上应收账款余额为 7422283.91 元,占应收账款比例约为 7% [7] - 2024 年度相关资本开支约 6 亿元,资产负债率为 76.53%,负债大部分为合同负债和长、短期银行贷款 [12] 公司业务情况 算力服务业务 - 涵盖通用云、行业云及智算云三大产品线,2025 年第一季度通用云、行业云服务收入占比下降,智算云服务收入占比提升,导致整体算力服务毛利率从 2024 年的 32%降至 27% [11] - 2024 年智算云业务实现营业收入近 2.7 亿元,同比增长 142%,与众多国内生成式人工智能训练和推理重要用户达成深度合作 [30] 一体机业务 - 涵盖仿真一体机及 DeepSeek 大模型一体机等产品线,通过与服务器供应商合作,以一体化解决方案形式交付客户,现阶段对整体营收贡献占比较小 [17][18] 算力资源建设 - 分为共建模式和算力网接入模式,依托“内蒙古新型算力基地”提出“算海计划”,2024 年 5 月一期建设项目上线运营 [20] 海南海底算力 - 2025 年 2 月 18 日,为海南陵水海底智算中心提供全方位运营支撑,海底数据中心具备绿色、低碳和可持续性特征 [19] 公司团队与股东情况 - 截至 2024 年末,研发人员 83 名,占员工总数 19.58%,其中硕士学位占比 12.05%,本科学位占比 73.49%,无博士学位 [24] - 截至 2025 年 3 月 31 日,股东人数为 18170 名;2024 年期末,股东人数为 8003 名 [25] 公司未来规划 - 2025 年将坚持技术创新,夯实核心技术和竞争优势,巩固行业领先地位,降低经营风险,保持和促进长期增长 [8] - 持续提升产品及服务竞争力,拓展市场,优化运营管理,控制成本费用,提高盈利水平 [10][28][29][31] 其他问题回复 - 目前在手订单充足,相关订单等信息会按规定披露 [13][14] - 尚未就算力服务与 Deepseek 建立业务合作关系,智算云平台已部署 DeepSeek - R1 等主流模型 [15] - 2024 年度前五大客户合计贡献营业收入占比为 26.48%,客户集中度处于合理水平 [16] - 目前尚未布局或合作太空算力 [22] - 关于 Deepseek 的 R2 上市时间,需关注深度求索公司公告和开源社区动态 [26]
展鹏科技: 展鹏科技股份有限公司关于2024年度网上业绩说明会召开情况的公告
证券之星· 2025-05-19 16:22
核心观点 - 公司2024年营业收入同比下降6.80%至4.69亿元,主要受房地产行业下行及电梯配件行业需求不足、产能过剩和竞争加剧影响 [1] - 公司通过收购领为军融形成"电梯控制系统+军事仿真系统"双主业格局,并积极推进业务融合与协同发展 [1][2] - 军事仿真系统业务全球市场前景广阔,预计从2017年130亿美元增长至10年后1216亿美元,中国市场规模预计2027年超200亿元 [1] 财务表现 - 2024年营业收入4.69亿元,同比下降6.80% [1] - 利润分配方案为每10股派发现金红利0.30元(含税),总分配利润875.97万元 [1] - 2025年第一季度因电梯配件行业淡季、价格竞争及军事仿真业务验收项目较少,导致收入利润下降 [1] 业务发展 - 电梯配件业务受房地产市场下行影响毛利率下降,公司将研发新型门系统产品并开拓电梯远程智能化监测领域 [1][2] - 军事仿真业务已与领为军融在无锡分公司开展合作,面积约1700平米,在座舱采集系统、操纵负荷系统等领域取得研发成果 [2] - 军事仿真业务将结合大语言模型升级产品平台,提升性能及易用性 [2] 行业前景 - 电梯配件行业面临需求不足、产能过剩和竞争加剧的挑战 [1] - 军事仿真系统全球市场预计从2017年130亿美元增长至10年后1216亿美元 [1] - 中国军用计算机仿真市场规模预计2027年超200亿元 [1] 战略规划 - 公司形成双主业格局,通过机电一体化研发生产能力提升军事仿真硬件竞争力,实现软硬件优势互补 [1][2] - 领为军融业绩补偿义务按协议履行,公司有信心完成2025年业绩承诺 [1] - 未来将在智能硬件领域寻求突破,提升市场价值和竞争优势 [2]
极光预计2025年第一季度营收显著高于预期指引
格隆汇· 2025-05-19 15:56
营收指引上调 - 公司预计2025年第一季度收入在8,700万元人民币至9,000万元人民币之间,同比增长35%至40% [1] - 此前收入指引为7,400万元人民币至7,750万元人民币 [1] 业务表现 - EngageLab业务收入同比增长超过120%,带动海外业务持续增长 [2] - 金融风险管理业务因客户需求激增实现收入大幅提升 [2] - AI平台GPTBots.ai为企业提供无代码构建AI Bots技术,助力智能化转型 [2] 财务数据 - 预计经调整净亏损在100万元人民币至200万元人民币之间,2024年同期净亏损为260万元人民币 [3] - 截至2025年3月31日现金及现金等价物和受限资金预计在1.130亿元人民币至1.140亿元人民币之间,2024年12月31日为1.195亿元人民币 [3] 战略与市场 - 公司“出海 + AI 赋能”双轮驱动战略成效显著,EngageLab和GPTBots.ai协同发力 [2] - 大语言模型研发公司客户发布开源模型R1 LLM,带来显著收入增长 [2]
开立医疗副总裁陈刚: “设备+AI”战略驱动创新 多维布局谋发展
中国证券报· 2025-05-19 04:35
公司战略与产品布局 - 公司依托"设备+AI"核心战略,通过高强度研发投入实现多产品线技术突破,多款搭载AI的高端医疗设备陆续上市 [1] - 产品覆盖超声医学影像、消化与呼吸内镜、微创外科产品以及心血管介入产品四大板块 [1] - 外科产品成为新增长点,技术迭代从多镜联合升级至4K荧光 [2] - 心血管介入领域作为唯一参与制定血管内超声通用技术标准的企业,将迎来快速发展期 [2] 政策机遇与市场表现 - 国务院《推动大规模设备更新和消费品以旧换新行动方案》提出2027年医疗等领域设备投资规模较2023年增长25%以上 [1] - 公司在四川、石家庄等地中标高端设备订单超百台,短期市场份额提升显著 [1] - 集采项目单次采购量达数百台,部分项目单笔高端设备中标量创历史新高 [2] - "设备更新"政策下价格降幅低于药品和耗材,通过以价换量实现销售总额稳步增长,利润影响可控 [2] 研发与技术创新 - 深化AI与医疗设备融合,拓展医学影像AI和大语言模型应用 [1] - 持续加大研发投入提升内镜产品品质,消化内镜领域作为国内第一品牌将充分把握政策机遇 [2] - 耗材研发取得进展,新产品将陆续推向市场 [2] 海外市场拓展 - 海外市场凭借三维推进策略实现稳健增长 [1] - 公司目标通过创新驱动实现高质量发展,持续向全球领先品牌迈进 [1]