Workflow
大型语言模型
icon
搜索文档
铜缆和光纤外,第三种选择
半导体行业观察· 2025-05-08 09:49
数据中心互连技术面临的挑战 - 生成式AI和大型语言模型推动数据带宽需求超越传统互连,速度正从800G向1.6T迈进[1] - 系统架构需同时解决三大挑战:满足带宽增长需求、控制成本扩张、提升能源效率[4] 铜缆技术的局限性 - 铜缆在400G/800G网络中仍是短距离首选,但存在趋肤效应导致的通道损耗和速度提升时电缆增厚问题[3] - 1.6T及以上速度下,铜缆因长度不足、体积过大无法适应高密度数据中心部署[6] 光纤技术的优缺点 - 光互连(如有源光缆AOC)支持数公里传输且更轻薄,但需电光转换组件导致成本达铜缆5倍、功耗显著增加[8] - 光学DSP引入额外延迟,且光学组件存在温度敏感性和可靠性问题[8] 新型互连方案e-Tube的特性 - 采用塑料介质波导传输射频数据,通过毫米波射频发射器/接收器实现电-射频信号转换[10][11] - 使用低密度聚乙烯材料避免高频损耗,支持56G至224G+速度,能效达3pj/bit,延迟仅皮秒级[12] - 相比铜缆:覆盖范围提升10倍、重量减少5倍、厚度降低2倍、功耗减少3倍、延迟降低1000倍、成本下降3倍[14] 技术兼容性与行业影响 - e-Tube采用标准半导体工艺和封装技术,兼容OSFP/QSFP-DD等行业封装规格,确保与现有设备互通[14][16] - 该方案有望成为1.6T/3.2T时代机架间连接的理想替代,解决铜缆与光纤在成本、能效上的不足[14][17]
优步UBER
2025-05-07 23:20
纪要涉及的行业和公司 行业:出行、送餐、自动驾驶、外卖 公司:优步(UBER.US)、Waymo、Bolt、DK&D、NAV Mobility、大众汽车、Momenta、OpenAI 纪要提到的核心观点和论据 财务表现 - 2025 年第一季度开局强劲,月活用户数增长 14%达 1.7 亿,行程量增长 18%,全球保留率创历史新高[2] - 总预订额与行程量同步增长,得益于出行和送餐业务强劲,经调整 EBITDA 达 19 亿美元,同比增长 35%,自由现金流 23 亿美元创历史新高[1][2] - 送货业务毛利率扩张至 3.7%,同比增长 70 个基点,第一季度送货业务增量利润率为 9%[10] 自动驾驶进展 - 与 Waymo 合作在奥斯汀投放约 100 辆自动驾驶汽车,车辆平均使用率超 99%的奥斯汀司机,运营指标健康,用户满意度高[1][3] - 计划增加奥斯汀车辆数量,扩大至亚特兰大及美国其他地区[1][3][4] - 与 NAV Mobility、大众汽车及 Momenta 在欧洲开发部署自动驾驶技术,中国已有优步产品运营并向 15 个国家扩展[11] 定价策略及价格弹性 - 移动性价格弹性与过去类似,价格上涨负面影响交易量,但消费者适应稳定价格后消费习惯会改变,公司对合理定价策略满意[1][5] 竞争挑战 - 出行业务美国市场竞争激烈,国际市场面临 Bolt、DK&D 等对手,但优步仍为多数市场龙头[1][6] - 送货服务美国市场竞争高度激烈,但营收、利润率及杂货和零售业务均强劲增长,食品配送行业有整合现象[1][6] 未来展望 - 预计第二季度营收和盈利能力更强劲增长,为下半年旺季奠定基础[1][7] - 致力于提供优质服务,有明确战略和更高远目标推动未来发展[1][7][8] 其他重要但可能被忽略的内容 - 美国移动性连续三个季度年同比行程增长约 19%,未来增长幅度相近,行程与总预订额增长差距缩小,因转嫁较低保险成本,利润率提升,国际旅行占比略有上升[9][10] - 新兴市场增速快于核心业务,占总体出行业务约 20%,且占出行业务价值比例大[10] - 预计 2025 年保险成本温和上涨,通过创新和政策调整缓解成本压力,如司机驾驶行为评分功能上线、乔治亚州法院改革法案待签署等[1][11] - 送货服务通过会员制降低价格,有 3000 万会员,提供数十亿折扣优惠,会员渗透率在某些市场超 70%,商家资助优惠活动带动销量增长,国际市场总预订额高增长与此有关[16] - 在交付服务和大型语言模型方面与 OpenAI 合作开发智能助手,处于实验阶段,旨在提升客户体验[17][18] - 稀疏移动市场增长速度快于城市核心区,20%行程来自稀疏市场,到 2025 年计划启动数百个新城市,投资期后利润率与其他市场一致[18] - 移动性总预订量预计第二季度类似过去强劲增长态势,行程增长主导,低成本产品业务持续增长,共享出行拓展到新市场,送货业务频率上升,定价和利润率更高[18][19] - 人口密度较低地区虽汽车拥有率高,但扩张后频率和移动性会提高,储备金使用可能高于城市,频率低但定价和利润率高[19]
ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键
机器之心· 2025-05-06 12:11
大型语言模型自注意力机制研究 核心发现 - 自注意力模块中查询(Q)和键(K)表示存在高度集中的极大值,而值(V)表示无此现象,该现象在使用旋转位置编码(RoPE)的模型中普遍存在[1][3] - 极大值分布具有跨层和跨头的规律性,与传统认知中注意力头独立性假设形成鲜明对比[3] - 该现象仅见于采用RoPE的主流模型(LLaMA/Qwen/Gemma),未使用RoPE的模型(GPT-2/OPT)不存在此模式[4] 机制影响 - 破坏QK中的极大值导致上下文理解任务性能崩溃: - 数学推理(GSM8K)准确率从81.3%骤降至15.1%(Gemma2-9B)[5] - 密钥检索任务(Passkey Retrieval)准确率从100%降至0%[5][11] - IMDB情感分析从94%+跌至个位数[11] - 参数知识任务受影响较小:城市类任务保持76-88%准确率,名人类任务维持70%+[10][13] 技术启示 - 量化技术需针对性处理极大值:AWQ和SmoothQuant方法能有效保持上下文理解能力,普通量化导致GMS8K性能显著下降[7] - RoPE机制是极大值现象的根源,其仅作用于QK而不影响V的特性解释了现象特异性[8] - 模型设计应重点考虑位置编码机制对上下文理解的影响,优化方向可针对极大值分布进行调整[14][16] 未来方向 - 探索通过调控极大值分布提升模型上下文理解能力的可行性[16] - 开发专用于保护极大值的量化技术,平衡模型压缩与性能保留[16] - 研究不同模型架构中该现象的普适性,拓展至多模态等新领域[16]
过去四周,AI推理爆了,GPU在燃烧,英伟达依旧供不应求
硬AI· 2025-04-29 08:18
行业需求与市场动态 - 大型语言模型对推理芯片的需求激增,导致英伟达GPU供不应求,需求遍及所有地区 [3][4] - token生成量自年初以来增长5倍以上,给生态系统带来巨大压力,推动对处理工作负载的投资激增 [4] - AI公司用户数量呈爆炸式增长,例如Open Router等API公司数据显示,GPU资源争夺激烈,甚至出现"最后一块GB200"在2025年仅剩一块的状况 [4] 英伟达的供应与业绩 - 英伟达Blackwell芯片(尤其是GB200/300型号)供应受限,短期内无法满足爆炸式需求 [6] - Hopper GPU需求虽改善,但云客户5-6年折旧周期可能导致投资回报率不理想 [6] - 美元上行、供应紧张和出口限制叠加,引发市场对英伟达短期盈利的担忧 [6] 摩根士丹利的观点与调整 - 摩根士丹利将英伟达目标价从162美元轻微下调至160美元,主要反映同行组整体估值下降,而非公司基本面变化 [3][6] - 下调目标价体现对英伟达短期业绩的谨慎态度,但长期增长潜力依然强劲 [3][8] - 截至发稿,英伟达股价为111美元,较大摩目标价高45%左右 [6] 推理需求的关键性 - 摩根士丹利认为推理需求是关键,由使用模型并产生收入的部分驱动,证明推理模型的扩展是真实存在的 [4] - 推理需求与仅依赖风险投资的训练需求有本质区别 [4]
“逢低买入”并不总是一个好策略,英伟达的泡沫现在仍很大?
美股研究社· 2025-03-11 19:24
文章核心观点 - 英伟达2025财年第四季度和全年业绩超预期,但增长率放缓,分析师对未来几年前景乐观,不过公司面临竞争、经济等风险,未来几个季度下行风险大于上行潜力,长期股价可能更高 [1][6][17] 业绩表现 季度业绩 - 2025财年第四季度收入从2024年第四季度的221.03亿美元增至393.31亿美元,同比增长78.0%,营业收入从136.15亿美元同比增长76.5%至240.34亿美元,每股摊薄净利润从0.51美元增至0.90美元,盈利增长76.5%,自由现金流从112.17亿美元增加到155.19亿美元,同比增长38.5% [1] 全年业绩 - 2025财年全年收入同比增长114%,从609.22亿美元增至1304.97亿美元,营业收入从329.72亿美元增至814.53亿美元,同比增长147%,每股摊薄净利润从1.19美元增至2.94美元,增幅达147%,自由现金流增长125%,从269.47亿美元增至607.24亿美元 [2] 各市场收入情况 数据中心 - 2025年第四季度数据中心收入占总收入的90.5%,收入同比增长93.3%,达到355.8亿美元 [2] 游戏 - 2025年第四季度游戏收入占总收入约6.5%,同比下降11.2%至25.44亿美元,因供应限制出货量受影响,管理层预计下季度环比强劲增长 [3] 专业可视化部门 - 2025年第四季度专业可视化部门创造5.11亿美元收入,同比增长10.4%,全年收入同比增长21%,关键垂直行业包括汽车和医疗保健,推动了对英伟达RTX工作站的需求 [4] 汽车 - 2025年第四季度汽车收入同比增长103%,达到5.7亿美元,高增长因自动驾驶汽车持续增长,丰田、Aurora和大陆集团依赖英伟达产品生产汽车和卡车 [5] 分析师预测 盈利预期 - 分析师上调未来几年每股收益和营收预期,2026财年增长预期高,2027财年预期也较高,2027财年后增长率更合理 [6] 具体数据 - 给出2026 - 2035财年各财季结束时的每股收益估计、同比增长、远期市盈率等数据,如2026年1月每股收益估计4.60美元,同比增长50.56% [7] 增长来源 - 汽车部门预计2026财年收入约50亿美元,较2025财年的17亿美元增长近三倍,未来几年游戏收入有望增加 [7][8] 产品情况 Blackwell芯片 - Blackwell专为推理AI设计,与Hopper 100相比,令牌吞吐量可提高25倍,成本可降低20倍,Transformer引擎可提供高吞吐量,确保性能和成本效率,2025财年第四季度销售额达110亿美元,需求强劲且增长快 [10] 行业需求与风险 需求情况 - 各大科技公司增加对AI基础设施支出,大部分将流向英伟达,但难以估计未来资本支出和英伟达销售额,传统快速追随者投资AI可推动额外增长 [10][12] 风险因素 - 经历高增长期后销售可能停滞或下降,DeepSeek事件致英伟达单日跌幅增加,高效法学硕士可能使英伟达芯片需求增长放缓,竞争加剧会使利润率下降,美国经济崩溃也会带来问题 [13][15] 估值分析 估值倍数 - 英伟达目前市盈率42倍,自由现金流50倍,估值在增长,虽高速增长可证明高估值倍数合理,但当前自由现金流利润率特殊,分析师对其估值合理性持谨慎态度 [15][17] 折现现金流计算 - 使用10%折现率和247.06亿股流通股数计算,以过去四个季度608.5亿美元自由现金流为基础,得出英伟达内在价值125.83美元,显示估值合理甚至略微低估 [16]
富士康发布FoxBrain大模型,使用120个英伟达H100 GPU
半导体芯闻· 2025-03-10 18:23
文章核心观点 富士康构建自有大型语言模型FoxBrain,计划开源以推动制造业和供应链管理进步,公司正从核心电子制造业务向人工智能和电动汽车等领域多元化发展 [1][3] 分组1:FoxBrain模型介绍 - 公司已构建具有推理能力的自有大型语言模型FoxBrain,为内部开发且在四周内完成训练 [1] - FoxBrain最初为公司内部使用设计,能进行数据分析、数学运算、推理和代码生成 [1] - 模型基于Meta公开的大型语言模型Llama 3.1的结构,是台湾首个具高级推理能力的大型语言模型,专为繁体中文设计和优化 [2] - 模型性能略落后于中国DeepSeek的一些模型,但正在接近世界一流水平 [3] 分组2:模型训练情况 - 英伟达通过位于台湾的超级计算机和技术咨询提供支持,助力模型成功训练 [1] - 人工智能研究中心主任李永辉团队用120个英伟达H100图形处理器,约四周完成FoxBrain训练 [1] 分组3:公司计划与安排 - 公司计划开源该模型,与行业合作伙伴合作,设想其推动制造业和供应链管理进步 [1] - 公司已公布FoxBrain一些参数,将在3月中旬英伟达年度技术活动上公布更多信息 [1] 分组4:公司业务发展 - 因行业转变和盈利能力下降,公司在核心电子制造业务面临挑战,正朝人工智能和电动汽车等领域多元化发展 [3]
机构:2027年HBM4将用于自动驾驶
半导体芯闻· 2025-03-07 18:20
内存解决方案与生成式AI发展 - 内存解决方案是推动生成式AI发展的核心动力 DRAM虽具优势但面临成本与上市时程挑战 需客户参与承诺采购并采用LPDDR PIM Wide I/O GDDR与HBM等降本策略 [2] - 短期PIM被视为最具创新性的内存方案 主要支援神经处理单元但应用有限 Mobile HBM可提升效能但应用场景尚未明朗 [2] - 预计2026年苹果将在iPhone Pro Max与折叠机型中转向独立式DRAM配置 提升频宽 NAND表现将通过UFS 5.0技术改进 [2] 自动驾驶与高效能应用处理器 - 自动驾驶技术发展将推动高效能应用处理器与LPDDR使用增加 HBM4预计2027年后导入自动驾驶系统 [2] - XR装置 无人机与游戏领域将扩展Wide I/O应用以提升低延迟处理能力 [2] 技术创新与供应链合作 - NVIDIA的DIGITS技术将整合GPU与HBM提升内存频宽 2025年通过SOCAMM技术增强CPU频宽 但PCB与连接器成本仍是挑战 [3] - 三星强调生成式AI内存解决方案需平衡高频宽 速度 容量 低延迟与功耗管理 [3] - 预计2030年HBM5堆叠层数达20层 并与更多逻辑装置整合于Chiplet架构 台积电CoWoS技术角色将更关键 [3] - 供应链横向合作模式将取代垂直整合 技术标准化与成本优化推动产业向高效能低功耗发展 [3][4] 行动AI与标准化趋势 - DeepSeek正开发行动AI的大型语言模型 OpenAI等企业将逐步标准化AI技术 [3] - PIM与Low Latency Wide I/O等创新技术普及后 有望在软体标准化后加速落地 [3]
京东健康20250306
2025-03-07 15:47
纪要涉及的公司 京东健康 纪要提到的核心观点和论据 1. **业绩表现** - 2024 年全年收入 58.16 亿元,同比增长 8.6%,第四季度收入在一季度高基数下仍增长 [3] - 2024 年年度活跃用户账户达 1.83 亿,日均在线咨询投票超 49.8 万次,连续四年保持该水平 [2][3] - 2024 年直销收入 488 亿元,同比增长超 6.9%,手术类业务和电动剪刀等产品表现突出 [2][3] - 2025 年服务收入超 93.6 亿元,同比增长 18.9%,占总收入 16.1%,平台佣金和收入快速增长 [2][10] - 2024 年第三方商家超 10 万家 [2][10] - 2024 年毛利率同比增 17 个基点至 22.9%,履行率同比增 10.2%,销售和市场费用率降 13 个基点至 5.2%,研发费用率持平 [2][10][11] 2. **业务进展** - 维护医药电商领导地位,加速线上渠道建设,满足流感药物等个人治疗需求增长 [2][5] - 互联网医疗服务创新,提供在线咨询、诊断到上门检查开方全流程服务 [2][5] - 率先大规模应用大型语言模型,提高医生交流和科研效率 [2][5] 3. **技术应用创新** - 引入大型语言模型(LLM)提升医生效率,推出 AI 解决方案支持医院应用,优化患者护理流程和临床研究 [2][6] 4. **合作情况** - 与 10 月、MSC Helium、辉瑞等公司在供应链、患者服务和学术营销领域开展创新合作 [2][9] 5. **未来计划** - 2025 年加强 B2C 直销、线上市场和按需零售运营模式,巩固领先地位 [8] - 提升医院服务技能与深度,加强家庭及安装服务模式发展 [8] - 推动长期服务模式中的技术应用,确保为医疗保健行业创造价值并推动人工智能发展 [8] - 开放供应链基础设施与医疗服务能力,与上下游合作伙伴共同实现可持续发展 [8] - 2025 年完善和巩固线上购买医疗保险支付服务,通过收购拓展业务,在重点区域推出医保支付的在线购药服务 [3][23] - 2025 年加强与生态系统上游合作,丰富健康产品线,优化渠道体验,推动电商业务增长 [17] - 2025 年深化和拓展在线医院服务,丰富上门和门店等服务产品,提供闭环服务 [17] - 2025 年投资人工智能和大数据模型等创新技术应用,推动业务技术转型 [17] 6. **应对行业变化策略** - 利用对用户需求洞察,优化商业模式,与上下游合作,实现可持续竞争优势和利润增长 [16] - 提升成本效率与用户体验,增强供应链能力及价格竞争力 [16] 7. **制药业务优势及举措** - 优化直销能力,实现线上线下渠道协同,巩固新特药市场领先地位 [19] - 建立学术营销平台,吸引数亿在线流量,推动特殊药品销售 [19] - 推出免费处方药变更服务、24 小时安全支持和竞争性定价策略,增强客户信任 [19] 8. **人工智能领域计划** - 拥有业内顶级大型 AI 语言模型,如京医、千寻等,面向多主体开放使用,是行业唯一开源模型 [20] - 完成多领域大规模部署,推出面向消费者新产品,拓展宠物产品业务和互联网医疗保健服务 [21] 9. **应对市场趋势策略** - 丰富产品线、优化渠道体验、整合线上线下资源,提供一站式医疗解决方案 [22] - 投资创新技术如人工智能、大数据等,提高运营效率,推动行业进步 [22] 10. **零售业务战略** - 开拓医院市场,成为行业第一,巩固线上平台地位 [24] - 线上线下深度渗透,积累新用户 [24] - 优化自有供应链,提升即时零售能力 [24] - 2025 年进入其他一线城市及商业圈,提供优质服务 [25] - 巩固供应链能力,确保财务纪律,整合渠道服务,提升客户教育与体验 [25] 其他重要但是可能被忽略的内容 1. 2024 年加强即时零售业务,在 80 个城市推出医保账户在线购药服务,覆盖超 1 亿人口 [3] 2. 提供 194 种家庭检测服务,覆盖 12 个城市,提供居家诊断和检测,电子开具处方,提供家庭护理和医疗设备安装服务,覆盖 13 个以上城市近 1,500 个网点 [3][13] 3. 2024 年推动近 30 种新上市和专科药品在线销售 [4] 4. 2024 年底在北京拥有 16 家 O2O 药店,覆盖大部分地区,拥有完整 ISD 能力和运营能力 [25]
深度|OpenAI主席Bret Taylor:看好AI Agent前景
Z Potentials· 2025-03-06 14:36
图片来源: Unsplash 在周二巴塞罗那的移动世界大会炉边谈话中, Bret Taylor 仍未给出 AI Agent的确切定义。 这位 Sierra 创始人和 OpenAI 董事会主席选择回避 CNN 主持人 Anna Stewart 关于AI Agent 与"生成式 AI 聊天机器人"有何不同的问题,而是暗示大家都不 喜欢前者,却对 AI Agent能提供的"共情"回应感到欣喜。 鉴于他的新创业公司正在构建一个客户服务 AI 代理,你会期待 Taylor 对这项技术的潜力充满热情。 "这些代理的非凡之处在于,人们实际上非常喜欢它们。" AI正在提升客户体验并降低成本 他确实没有让人失望:"我对大型语言模型和当前这波技术浪潮的兴奋程度,超过了我能记得的任何技术,也许可以追溯到我十几岁时发现互联网的时 候,"他在会议上对代表们说道。 生成式 AI 驱动的 AI Agent,与早期版本的 AI 聊天机器人相比,其能力的飞跃在于达到了更高的水平——例如"多语言且即时响应"的 AI。 "我认为我们现在正处于这样一个时代,这些 AI 解决方案实际上比替代方案更好,"他说道,并补充说:"我们与美国的 SiriusX ...
谷歌大肆招人,开发网卡芯片
半导体行业观察· 2025-03-05 09:03
谷歌扩大以色列芯片开发业务 - 谷歌正在以色列招聘数十名员工开发新型网络接口卡(NIC),用于AI处理中核心处理器与图形处理器间的通信[1] - NIC目前由博通、英特尔和Nvidia主导生产,但AI处理需求激增使其价格飙升,成为高价值商品[1] - Nvidia通过收购以色列公司Mellanox获得相关技术,并以高价打包销售NIC组件[1] 科技巨头自研芯片趋势 - 谷歌四年前成立芯片开发部门以减少对英特尔、Nvidia和博通的依赖[1] - 在OpenAI等公司推动下,Nvidia、谷歌和亚马逊竞相内部开发NIC处理器[2] - 谷歌曾开发TIN NIC处理器,现需升级以适应大语言模型处理需求[2] 谷歌芯片战略布局 - 谷歌与博通合作开发芯片,重点聚焦图形加速器TPU,用于图像识别、语言处理等AI应用[4] - 同时采购Nvidia和英特尔GPU,但加大内部开发以提升云服务硬件定制能力[4] - 芯片开发团队由两名以色列高管领导,规模小于Nvidia[4] 以色列在芯片开发中的角色 - 亚马逊2014年以3.7亿美元收购以色列公司Annapurna Labs,并基于其技术开发云处理器Graviton、AI训练芯片Trinium等[4] - 谷歌在海法和特拉维夫拥有140名工程师,正招聘数十人开发CPU和NIC芯片[5]