英伟达DGX Spark
搜索文档
体验英伟达 AI 个人超算「核弹」DGX Spark,能微调出 DeepSeek R2 吗
36氪· 2025-12-31 12:27
产品概述 - 英伟达DGX Spark是一款被黄仁勋推荐的“个人超算”,其核心特点是“小而美”,尺寸小巧,设计具有硬核美感[1][3] - 产品尺寸为5.05*15*15厘米,重量为1.2公斤,体积与Mac Mini相近,远小于Mac Studio[3][5] - 该设备搭载了GB10 Grace Blackwell超算芯片,其算力效果可媲美RTX 5070/5070 Ti,并配备了128GB的GPU+CPU融合内存以及273 GB/s的LPDDR5X内存带宽[6] - 产品预装了Ubuntu Linux操作系统,在京东等电商平台售价约为32000元人民币[9] 性能与能力 - 该设备能本地运行最高2000亿参数的大模型,支持对大模型进行微调、推理测试以及搭建各种AI工具,实现离线生图等功能[17] - 在实际测试中,设备成功部署并运行了65GB的gpt-oss 120b模型,但在尝试运行142GB的Qwen 3:235b(2350亿参数)模型时进程被强制结束,表明其能力存在上限[20] - 在生成视频方面,使用腾讯混元1.5模型生成一段10秒、240帧的视频时,GPU利用率达到96%,内存使用接近90GB,几乎榨干了128GB内存[22] - 在图像生成方面,设备支持Qwen、FLUX、Z-Image等多种模型,生成速度表现尚可[22] 目标用户与核心价值 - 该产品并非通用电脑,其定位是面向AI研究员、开发者以及极客玩家,提供完整的全栈AI开发环境,用于快速复现前沿论文和验证想法[17][42] - 对于计算机相关专业的学生或研究员,该设备能帮助其快速运行各种深度学习项目,复现计算机视觉或自然语言处理领域的工作[42][44] - 产品的一大核心价值在于其提供了丰富的全栈软件工具,涵盖了英伟达工具、框架、库和预训练模型,解决了AI开发中复杂的环境配置和版本依赖问题[37] - 该设备也吸引了部分极客爱好者,可将其作为家庭服务器,通过本地网络供其他设备调用其算力进行文本、图片或视频生成,但其生成速度体验可能不及商业模型[51][52] 应用场景与局限性 - 设备支持通过开源框架(如LLaMa Factory)对大模型进行微调,例如使用LoRA技术对Llama 3模型进行微调,修改其自我认知,整个过程耗时约1小时[29][31][32] - 产品不适用于与深度学习无关的通用任务,如视频剪辑或玩游戏[17] - 由于采用Linux操作系统和ARM64架构,在软件安装和使用上存在门槛,例如无法直接安装仅支持amd64架构的Chrome浏览器,需要用户具备一定的专业知识[40][41][42] - 对于需要上架App Store的移动应用开发者而言,主流开发工具(如Xcode)在macOS上,因此该设备并非首选[47]
英伟达AI超算3999开售,「掌心之中」可部署所有大参数开源模型
36氪· 2025-10-15 08:38
产品发布与定位 - 英伟达正式发布并开始销售面向个人AI开发者的迷你PC“DGX Spark”,售价为3999美元,将于10月15日通过官网及第三方零售商开售 [1][3] - 该产品定位为个人AI超级计算机,主要面向AI开发者、研究人员、数据科学家和学生,用于在桌面上对大型模型进行原型设计、微调和推理,而非面向普通消费者的通用计算机 [3][7][9] 核心硬件配置 - 搭载英伟达定制的GB10 Grace Blackwell超级芯片,融合20核CPU与Blackwell架构GPU,在稀疏FP4精度下提供1 PFLOPS(每秒一千万亿次浮点运算)的AI算力 [5][23][24] - 配备128GB的一致性统一系统内存,CPU与GPU共享同一物理内存空间,可无缝访问数据,无需在系统内存和显存间拷贝,大幅减少数据搬移开销 [1][24][25] - 提供最高4TB存储,配备ConnectX-7智能网卡,机身背面提供两组QSFP网络端口,提供合计200Gb/s带宽,允许两台设备直连组成小型集群 [5][18][27] 产品设计与规格 - 产品尺寸小巧,长150毫米 x 宽150毫米 x 高50.5毫米,重约2.6磅(1.18公斤),大小与Mac mini相仿 [1][5] - 采用香槟金全金属外壳,前后为多孔金属泡沫材质以辅助散热,设计灵感源于大型DGX服务器 [16][18] - 采用USB-C接口进行供电设计,将电源适配器外置以节省内部空间用于散热,但供电线无卡扣固定 [21] - 接口丰富,包括四个USB-C接口(一个支持240W供电)、一个HDMI输出、一个10GbE RJ-45以太网口及两组QSFP网络端口 [18] 性能表现与能力 - 凭借128GB统一内存,可一次性加载并运行上百亿参数的大模型,两台设备互联后可应对高达405B参数(FP4精度)的模型,已逼近目前最大的开源模型 [1][26][29] - 性能测试显示,在运行GPT-OSS 20B模型(Ollama框架)时,预填充吞吐量约为2053 tokens/s,单token解码速度约49.7 tokens/s [32] - 在运行Llama 3.1 8B模型(SGLang框架,FP8精度,批处理大小=1)时,预填充速度约7991 tokens/s,生成速度约20.5 tokens/s;当批处理增加到32时,生成速度可提升至约368 tokens/s,展现优秀的并行处理能力 [32][36] - 能够成功加载并运行Llama 3.1 70B等超大参数模型(FP8量化版),预填充速度约803 tokens/s,生成速度约2.7 tokens/s,为本地研究和调试庞大模型提供了可能 [32][36] - 采用LPDDR5x统一内存,总带宽约为273GB/s,这成为重负载AI推理时的主要瓶颈,其吞吐量约为顶级专业显卡(如RTX Pro 6000)的四分之一 [29][32][34] 软件与生态系统 - 运行英伟达定制的DGX OS(基于Ubuntu Linux),已预配置好AI软件及常用开发环境(如Docker),降低本地运行大模型的门槛 [7][42][44] - 支持SGLang和Ollama等推理框架,为SGLang框架提供了从数据中心走向个人开发者市场的契机 [15][31] - 通过软件优化可提升性能,例如在SGLang框架中启用英伟达EAGLE3推测解码算法后,在Llama 3.1 8B等模型上使端到端推理吞吐量最高提升约2倍 [37][38] - 提供兼容OpenAI API接口的出厂配置,可像使用云端服务一样通过标准REST API与本地模型交互,便于部署本地模型服务 [46][47] 散热与稳定性 - 在高负载长时间运行测试中(如并发批处理设为8,推理DeepSeek-R1 14B模型),风扇噪音和温度保持稳定,未出现热降频 [39] - 精心的金属泡沫散热结构和外置电源设计,使热量能迅速排出,在持续性能输出方面展现出专业水准的热设计能力 [21][39][41] 典型应用场景 - **本地模型服务与推理**:可简便地通过Docker命令部署本地大模型推理服务,提供离线、数据私有且延迟可控的API服务 [44][45][49] - **本地对话体验**:可接入Open WebUI等前端,在浏览器中实现零延迟、零数据泄露的私有AI聊天体验 [50][52] - **离线代码助手**:可与现代代码编辑器(如Zed)集成,利用本地运行的大模型(如GPT-OSS 20B)实现代码自动完成、内联聊天等辅助编程功能,全程离线保证代码隐私 [53][54][57] 行业意义与展望 - 该产品标志着个人AI超算时代的到来,将数据中心级别的“大内存+高速互联+顶级GPU”组合浓缩进桌面设备,是工程上的突破 [14][29][58] - 其使命在于把AI实验室搬到开发者桌面,赋予开发者在本地安静、高效地运行开源大模型、开发推理框架及打造私有AI助手的能力,是个人AI超算时代的开路先锋 [58]
前瞻全球产业早报:鸿蒙电脑正式发布
前瞻网· 2025-05-21 09:55
能源与大宗商品 - 国内汽、柴油价格每吨分别降低230元和220元 自2025年5月19日24时起执行 [2] 消费电子与科技产品 - 华为发布首款鸿蒙折叠电脑MateBook Fold非凡大师 售价23999元起 同时推出MateBook Pro 售价7999元起 均搭载HarmonyOS 5系统 [2] - 腾讯QQ已完成鸿蒙电脑适配 微信和企业微信正在加快体验适配并将陆续上线 [6] - 苹果AirPods可能要到2026年才会有重大更新 轻量版AirPods Max预计2027年量产 [15] 工业与制造业数据 - 4月全国规模以上工业增加值同比增长6.1% 环比增长0.22% 高于市场预期0.9个百分点 其中装备制造业和高技术制造业分别增长9.8%和10.0% [3] - 日产汽车考虑关闭日本追滨工厂和湘南工厂 可能停止南非、印度和阿根廷工厂生产 削减墨西哥工厂数量 [13][14] 人工智能与机器人 - 杭州市人工智能产业创新中心公司成立 注册资本1亿元 由杭州市数据集团和联通数据智能共同持股 [5] - 华为、优必选、智元机器人、中坚科技将合作开发康养人形机器人 涉及算力、大模型平台等合作 5月21日举行启动大会 [7] - 高通将利用英伟达技术生产定制数据中心CPU 以连接英伟达AI芯片 [10] - 英伟达正将其AI模型应用于自动驾驶汽车 与梅赛德斯合作推出车队 今年即可实现 [11] - 英伟达个人AI计算机DGX Spark已全面投产 搭载GB10超级芯片及张量核心 [12] - 谷歌CEO表示AI不会消灭搜索而是推动其进步 [16] 半导体与芯片 - 小米自研芯片玄戒累计研发投入超135亿元 研发团队超2500人 今年预计研发投入超60亿元 [8] 旅游与消费 - "熊猫专列·成都号"新疆线产品5-10月10趟次已全部售罄 票价5万元起 70%为入境游客 [4][5] 资本市场与投融资 - 2025全球投资者大会在深圳举行 近400名金融监管机构及各类投资机构代表参会 主题为"新质生产力:投资中国新机遇" [3] - 杭州壹汇科技完成Pre-A轮融资 由积露资产领投 中天资本等跟投 [17] - 英伟芯科技完成数千万元天使轮融资 由中科创星独家投资 [17] - 亿航智能考虑进行第二上市 [18] - 圣贝拉获准启动港股IPO 拟发行不超过1.92亿股 [18] 零售与企业动态 - 胖东来创始人于东来表示希望脱离企业 资产留给现有团队 [9] 国际经贸 - 欧盟和英国将继续就食品农业标准和能源达成协议 [9]
整理:每日科技要闻速递(5月20日)
快讯· 2025-05-20 07:43
英伟达动态 - 英伟达将于第三季度推出下一代GB300人工智能系统 [1] - 英伟达在中国台湾建设AI超级计算机 [1] - 英伟达DGX Spark已全面投产 [1] - 英伟达正洽谈投资量子技术初创公司PsiQuantum [2] 零跑汽车业绩 - 零跑汽车一季度营收超百亿 [2] - 一季度毛利率达14.9% 超出市场预期 [2] 鸿蒙操作系统 - 鸿蒙电脑正式发布 [2] - 国产操作系统在个人电脑领域实现重要突破 [2] 航天科技 - 谷神星一号海射型遥五运载火箭发射成功 [2] 抖音AI治理 - 抖音开展"AI起号"专项治理行动 [2] - 重点整治利用AI生成低俗猎奇视频等行为 [2] 小米新品 - 小米战略新品发布会定档5月22日 [2] - 将推出"玄戒O1"采用第二代3nm工艺制程 [2] 高通处理器 - 高通将推出可与英伟达芯片连接的数据中心处理器 [2]