KD)

搜索文档
英伟达全新开源模型:三倍吞吐、单卡可跑,还拿下推理SOTA
量子位· 2025-07-29 13:05
模型发布与定位 - 英伟达推出开源模型Llama Nemotron Super v1 5,专为复杂推理和agent任务设计,在科学、数学、编程及agent任务中实现SOTA表现 [2] - 模型吞吐量提升至前代的3倍,可在单卡高效运行,实现更准、更快、更轻的性能 [2] - 模型为Llama-3 3-Nemotron-Super-49B-V1的升级版本,衍生自Meta的Llama-3 3-70B-Instruct [3] 模型架构与技术 - 采用神经架构搜索(NAS)技术,平衡准确率和效率,降低运行成本 [4] - NAS生成非标准、非重复的网络模块,包含跳过注意力机制和可变前馈网络两类变化 [6][7] - 通过跳过attention或改变FFN宽度减少FLOPs,提升资源受限时的运行效率 [8] - 对原始Llama模型进行逐模块蒸馏,构建满足单卡H100 80GB显卡吞吐量和内存要求的模型 [8][9] 训练与数据集 - 模型在FineWeb、Buzz-V1 2和Dolma三个数据集共400亿token的训练数据上进行知识蒸馏,重点关注英语单轮和多轮聊天 [10] - 后训练阶段结合监督微调(SFT)和强化学习(RL),提升代码、数学、推理和指令遵循等任务表现 [10] - 数据集包含公开语料库题目和人工合成问答样本,部分题目配有开启和关闭推理的答案,增强模型推理模式辨别能力 [10] - 英伟达表示数据集将在未来几周内发布 [11] 部署与生态 - 模型专为NVIDIA GPU加速系统设计和优化,利用GPU核心和CUDA库实现显著速度提升 [12] - 模型已开源,开发者可通过build nvidia com或Hugging Face下载体验 [13] - 模型隶属于英伟达Nemotron生态,集成大语言模型、训练与推理框架、优化工具和企业级部署方案 [14] - Nemotron生态推出Nano、Super和Ultra三个系列,分别针对边缘部署、单GPU平衡精度和最大精度数据中心场景 [16][17] 行业应用与合作 - Nemotron已获SAP、ServiceNow、Microsoft、Accenture等企业支持,用于构建企业级AI智能体平台 [17] - 在Amazon Bedrock Marketplace中可通过NVIDIA NIM微服务调用Nemotron模型,支持云端和混合架构运营方案 [17]
国盾量子20250515
2025-05-15 23:05
纪要涉及的公司和行业 - **公司**:国盾量子、中国电信、微软、谷歌、亚马逊、英伟达、宝马、波音等 [1][2][20][23] - **行业**:量子保密通信、量子计算、量子精密测量 [3] 纪要提到的核心观点和论据 国盾量子经营情况 - 2024 年主要收入来源为量子保密通信,累计收入约 2.5 亿元,占比超 60%;量子计算和量子精密测量领域分别实现 5000 多万元和 2400 万元收入 [3][4] - 2025 年第一季度营收约 2000 万元,同比增长 100%,扣非净利润延续减亏态势,预计全年营收增长约 30%,达 3 亿多元,实现盈亏平衡 [2][4][24] 国盾量子与中国电信合作 - 双方自 2024 年 3 月合作,在业务推广和市场协同整合,规避同业竞争,国盾专注核心设备及下一代技术研发,电信负责应用型开发 [5] - 2024 年中国电信对国盾量子营收贡献约 1 亿元,占比约 40%;2025 年电信计划建设约 40 个城域网络,开展量子计算与超算融合项目 [2][8] 各业务领域发展情况 - **量子保密通信**:实用化程度最高、覆盖范围最广,已从“可用”发展到“好用”,预计稳定增长 [6] - **高端科研仪器市场**:受谷歌 V6 芯片、中国主攻突破三号等新产品推动,有望持续扩展 [6] - **精密测量国产替代及定制化市场**:如美元树处理锂业设备,高精度联网测重力加速度功能获显著销售成绩 [6] 量子通信技术发展 - 量子密钥分发(QKD)和后量子密码(PQC)适合融合发展,QKD 提供信息安全底座,PQC 作为上层算法补充,是未来发展重要方向 [3][12][14] - 中国适合以 QKD 为基础配合 PQC 增长,国内企业正开发融合业务和方案 [13][15] 量子计算业务情况 - 2024 年量子计算领域收入超 5000 万元,主要来自核心部件销售,今年将确认两台量子计算机收入 [17] - 主要市场集中在高校和科研院所,未来企业端需求可能增加,如金融、物流、气象等领域 [18] 其他重要但是可能被忽略的内容 - 联通在量子通信有不同程度布局,移动与国科量子成立合资公司负责内部通信布局 [10] - 国家在算力基础设施、信息安全设施等领域文件中有量子相关提法,863、973 项目有量子专项 [10] - 欧洲量子保密通信全国规划早但执行慢,光纤老旧改造成本大,2024 年开始考虑 QKD 和 PQC 融合 [13] - 除专网建设,量子通信在电力、银行等领域有应用机会,如搭建小型密钥池、提供远程接入服务等 [16] - 地面站作为光纤组网补充,可在光纤难达地方实现随机数生成与发送,有天地一体化应用空间 [17] - 海外微软、谷歌、亚马逊已布局云平台量子计算服务,国内除中国电信外,云厂商多将量子计算用于科研探索 [20][22]