H100显卡
搜索文档
2张4090竟能本地微调万亿参数Kimi K2!趋境联合清华北航把算力门槛击穿了
量子位· 2025-11-05 15:56
仅需 2-4 张 消费级显卡(4090),就能在本地对 DeepSeek 671B 乃至 Kimi K2 1TB 这样的超大模型进行微调了。 你没有看错。 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 微调超大参数模型 ,现在的"打开方式"已经大变样了: 这要放以前啊,各路"炼丹师"是想都不敢这么想的。因为按照传统的方法,类似Kimi K2 1TB参数的模型,用LoRA微调方案理论上需要高 达2000GB的显存,而即便是参数量稍小的 DeepSeek-671B的模型微调也需要1400G的显存。 什么概念? 一张H100(80GB)得十几张起步,说是吞矿也是不足为过了。 而现在微调千亿/万亿参数模型的成本能打如此骨折,背后的关键源自 两个国产明星项目 的联动。 首先就是 KTransformers ,是由趋境科技和清华KVCache.AI共同开源的项目,GitHub已经斩获15.3K星 。 KTransformer此前在大模型推理领域就已声名鹊起,凭借GPU+CPU的异构推理的创新路径成为主流推理框架之一,通过KTransformers 利用单张4090可以推理Kimi K2 1TB级别大模型。 而这一 ...
微软将在阿联酋投资79亿美元大幅扩展AI数据中心容量
搜狐财经· 2025-11-04 14:53
微软公司计划通过与当地公司的合作伙伴关系,大幅扩展其在阿联酋的数据中心足迹。 这家科技巨头今天宣布了这一举措,同时还公布了第二项重大基础设施投资。微软透露,已向风险投资 支持的云计算初创公司Lambda Labs委托了价值数十亿美元的数据中心容量。两个项目都将使用英伟达 公司最先进的GB300人工智能芯片。 2023年,微软与总部位于阿布扎比的Group42公司合作,扩大其在阿联酋的数据中心业务。这家科技巨 头今天透露,到今年年底,该合作伙伴关系的投资将超过73亿美元。其中一半以上的资金分配给了资本 支出,这一项目包括数据中心基础设施。 该项目使微软部署了英伟达公司的芯片,计算能力相当于21500张H100显卡。H100是英伟达在2023年之 前的旗舰AI加速器。这家芯片制造商去年3月推出的新型Blackwell芯片在大语言模型推理方面提供了约 30倍的性能提升。 Q2:GB300芯片相比H100有什么优势? A:GB300是英伟达最先进的AI加速器,每个GB300包含一个中央处理器和两张Blackwell Ultra显卡。相 比之前的H100芯片,新型Blackwell芯片在大语言模型推理方面提供约30倍的 ...
GPU会成为新的石油吗?
伍治坚证据主义· 2025-10-01 14:22
文章核心观点 - GPU作为人工智能算力的核心资源,其重要性正迅速提升,未来十年全球在GPU上的花费可能超过石油 [2] - GPU正走在金融化的道路上,可能像石油、铜等大宗商品一样开发指数和期货合约 [2] - 算力金融化标志着人类社会资源观的根本转变,从物质资源转向数据、算法和算力等新型资源 [5] GPU需求与供给动态 - 美国AI数据中心的电力需求预计到2035年将达到1.23亿千瓦,相当于2024年水平的30倍 [3] - 当前H100显卡单价已高达2万美元以上,企业需要通过抢货才能获得 [2] - GPU供给受制于台积电的产能、美国出口管制以及英伟达的产品节奏,存在不确定性 [3] GPU金融化的潜在路径与影响 - 金融市场可能为GPU建立指数并开发期货合约,使算力成本可被锁定和对冲 [2][3] - 算力期货可帮助AI创业公司锁定未来三年算力成本,云计算公司可对冲价格波动 [3] - 可能出现算力指数期货、AI芯片ETF及GPU波动率指数等金融产品 [4] GPU作为大宗商品的特殊性 - GPU技术迭代速度快,一代显卡生命周期往往只有几年,存在快速贬值的风险 [4] - 与可长期储存的石油不同,GPU更像会贬值的生鲜产品,新旧更替速度过快 [4] - 历史上金融化的大宗商品如石油、铜、黄金均经历过泡沫和暴跌的周期 [4] 算力资本主义时代的投资视角 - 长期受益者可能是产业链中占据优势的企业,如制造商台积电、设计商英伟达、掌握云算力的微软和亚马逊 [5] - 人类社会资源观正从煤炭、钢铁、石油等物质资源转向数据、算法和算力等新型资源 [5] - 20世纪是石油资本主义,21世纪可能是算力资本主义,但市场的周期律不会改变 [5]
硅谷改朝换代
虎嗅· 2025-08-05 09:40
中国科技行业变迁 - 2000年代初北京中关村创业氛围浓厚,风投与创业者频繁互动,互联网泡沫破灭后移动互联网重新点燃行业热情 [3][6] - 当前科技圈更封闭谨慎,企业创始人采访需经PR层层协调,媒体角色从记录者变为被公关引导的对象 [8][9][10] - 创业者仍保持深夜工作习惯但不再热衷讲述故事,信息流动路径复杂化 [11][12] 硅谷技术转型 - 硅谷从Web 2.0时代的音乐流媒体、社交平台转向神经网络、GPU和大模型架构的硬科技时代 [14][16] - 科技工作文化从"rest and vest"休闲模式转变为高强度AI研发氛围,OpenAI等工作环境类似修道院 [15][18] - 技术讨论焦点从HTML5转向H100显卡获取、神经网络等硬核话题,旧金山南部形成AI初创公司聚集区"角斗场" [19] 行业人才需求变化 - 招聘要求从"讲故事能力"转变为"分布式训练经验"等技术指标,PhD工程师取代愿景演讲者成为核心人才 [23] - 谷歌等科技巨头缩减招聘规模,现有员工面临管理层优化压力 [20] - AI工程师在Hayes Valley("脑谷")形成交流社区,讨论主题转向多模态训练等技术话题 [21] 投资方向演变 - 投资热点从消费互联网转向军事、能源、航空航天领域,防务科技与无人机公司受追捧 [22] - Meta向Scale AI投入140亿美元,Uber办公楼分租给OpenAI,旧金山金融区重新活跃 [26] - 创业者目标从"创造美好生活方式"转向"建构超越人类的智能存在" [28] 硅谷秩序重构 - 硅谷从"消费互联网乌托邦"秩序转向"冷硬技术军备经济体",价值核心从用户增长转向智能重构 [32][36][39] - 技术共享使硅谷担忧领导地位被中国超越,行业呈现"技术民族国家"特征 [22][37] - Stability AI等公司仍保持派对文化,科技乐观主义与硬核技术形成奇特混合 [25]
英伟达被约谈,这事可能比大家想的更严重
36氪· 2025-08-01 10:23
这两天,英伟达里外不是人。 前脚老黄才刚来咱们这,高调宣布可以向中国市场销售H20显卡,准备了几十亿美元的卡终于能出手。 于是我这么一查,还真挖出了这背后的大瓜,总结成一句话就是:英伟达被约谈这事,老黄真能怪美国政府。 估计老黄现在已经气得皮衣都包裹不住他的怒火了。 后脚英伟达就因为H20的后门安全风险被有关部门约谈。 刚听到这消息时,差评君还以为这是什么空穴来风的事儿,但看到各大官媒都在转发,就意识到事情肯定小不了。 咱们先来说说,具体是发生了什么事? 虽然官媒们转发的信息字数不多,但这里面包含的信息量非常大,尤其是我下面给大家标出来的这两句↓↓↓ 首先,咱们的官媒们其实还是说得有些委婉了。 实际上,美国议员们不仅是在呼吁美国出口的先进芯片配备"追踪定位"功能,还把这个要求直接写进了正在推进的法案里,也就是《芯片安全法案》。 虽说美国政府在芯片和软件里边偷偷植入后门,已经不是什么新鲜事了,但通过立法把这种见不得光的手段,这么明目张胆地亮出来,在差评君的印象里 还是头一回。 报告中引用了社媒研究机构Graphika的调查,说DeepSeek的模型技术可能是使用了被禁售的显卡搞出来的。 换句话说,美国政府宁可相 ...