Workflow
摩尔定律
icon
搜索文档
大模型每百天性能翻倍,清华团队“密度法则”登上Nature子刊
36氪· 2025-11-20 16:48
大模型发展路径的转变 - 2020年以来大模型发展遵循Scaling Law,即模型参数和训练数据规模越大,智能能力越强 [1] - 进入2025年,依赖规模扩张的路径面临可持续发展问题,互联网公开可获取语料接近枯竭 [1] - OpenAI前首席科学家指出,现有的大模型预训练模式将无法持续,研究者开始探索新的发展路径 [1] 密度法则的核心内容 - 清华大学在Nature子刊提出大模型“密度法则”,揭示大语言模型的最大能力密度随时间呈指数级增长 [1][8] - 2023年2月至2025年4月,能力密度约每3.5个月翻一倍,意味着可用一半参数量的模型实现当前最优性能 [1][8] - 密度法则受摩尔定律启发,类比芯片行业通过提升电路密度实现设备小型化,大模型通过提升能力密度实现高效化发展 [3] 密度法则的重要推论 - 推论1:同能力模型的推理开销随时间指数级下降,模型参数每3.5个月减半,同时芯片算力增强和算法优化推动成本下降 [7] - GPT-3.5级模型API价格在20个月内下降266.7倍,约每2.5个月下降一倍 [7] - 推论2:大模型能力密度正在加速增强,ChatGPT发布前能力密度每4.8个月翻倍,发布后提升至每3.2个月翻倍,速度提升50% [9][10] 模型压缩技术的局限性 - 当前模型压缩技术存在局限性,对比多个模型与其压缩版本,除Gemma-2-9B外,其他压缩模型的密度均低于原始模型 [11] - 量化技术同样会降低模型性能和能力密度,揭示压缩过程中较小模型的训练往往不够充分,无法达到最优密度 [11][13] 端侧智能的发展前景 - 芯片电路密度和模型能力密度两条曲线的交汇,意味着端侧设备将能运行更高性能的大模型 [14] - 边缘计算和终端智能将迎来爆发式增长,算力普惠将从云端走向终端 [14] - 清华大学与面壁智能基于密度法则研发端侧高密度模型,截至2025年10月模型下载量接近1500万次,GitHub星标接近3万次 [16]
大模型每百天性能翻倍!清华团队“密度法则”登上 Nature 子刊
AI前线· 2025-11-20 14:30
大模型发展范式转变 - 传统Scaling Law面临可持续性问题,互联网公开可获取语料接近枯竭,大模型预训练路径难以为继 [1] - 行业从单纯追求模型参数规模转向探索新的发展路径 [1] 密度法则核心观点 - 清华大学提出大模型"密度法则",揭示大语言模型最大能力密度随时间呈指数级增长 [1][4] - 2023年2月至2025年4月期间,能力密度约每3.5个月翻一倍,可用一半参数量的模型实现当前最优性能 [1][9] - 密度法则受摩尔定律启发,类比芯片行业通过提升电路密度实现设备小型化,大模型通过提升能力密度实现高效化发展 [4][5] 密度法则实证研究 - 研究基于51个近年发布的开源大模型进行系统分析 [9] - 能力密度定义为同能力基准模型参数量与目标模型参数量的比值 [7] 密度法则重要推论 - 同能力模型的推理开销随时间指数级下降,GPT-3.5级模型API价格在20个月内下降266.7倍,约每2.5个月下降一倍 [12] - 大模型能力密度加速增强,ChatGPT发布前能力密度每4.8个月翻倍,发布后每3.2个月翻倍,速度提升50% [14] - 当前模型压缩技术存在局限性,多数压缩模型密度低于原始模型,量化技术会降低模型性能和能力密度 [16] - 芯片电路密度和模型能力密度曲线交汇,预示端侧设备将能运行更高性能大模型,边缘计算和终端智能将爆发式增长 [18] 密度法则实践应用 - 清华大学与面壁智能团队基于密度法则研发高密度端侧模型,包括MiniCPM系列 [20] - 面壁小钢炮模型被评为2024年Hugging Face最多下载、最受欢迎的中国大模型,截至2025年10月下载量接近1500万次,GitHub星标接近3万次 [20]
ASML 挺摩尔定律:未来15年持续推进制程蓝图
经济日报· 2025-11-20 07:47
半导体技术发展前景 - ASML高管预期摩尔定律将继续有效,未来15年制程蓝图会持续推进[1] - 新的芯片架构依赖先进封装技术,如使用矽中介层进行堆叠[1] - 在芯片微缩之外,通过放大芯片面积提升生产效率也成为重要议题[1] ASML产品与技术进展 - 公司推出用于后段封装的XT:260设备,并于今年第3季度首次出货以满足客户需求[1] - Low NA EUV(NXE:3800E)设备致力于提升先进制程客户的生产效率和设备可用性[1] - High NA EUV设备具备更高成像品质与简化流程(单次曝光)的优势[1] 记忆体技术趋势 - 记忆体应用方面,无论是NAND还是DRAM都需要键合技术来改善异质整合[1]
鼎捷数智刘波:以多智能体协同,应对企业AI应用“摩尔定律”
21世纪经济报道· 2025-11-18 18:31
公司活动与战略定位 - 公司作为数字化服务商为“雅典娜杯”两岸青年人才创新创业大赛决赛提供数智原生底座 [2] - 公司希望通过共创共享新模式精准链接企业数智发展痛点与创新解决方案 [2] - 公司以“智能+”战略为引领持续深化技术研发与生态构建 [5] 工业AI应用挑战与解决方案 - 通用大模型在工业领域存在“水土不服”问题难以理解特定工厂来自“经验中的隐性Know-how” [2] - 工业知识数字化核心在于情景化通过多模态碎片化抓取完成对非结构化数据的捕捉例如录屏收音抓取CNC操作日志配合传感器获取工具寿命和工件良率 [3] - 关键解决方案在于非结构化数据的抓取与工业知识图谱搭建通过智能数据套件统一封装数据并进行一致性唯一性检查构建专属“工艺知识图谱” [3] 多智能体技术平台与应用 - 公司今年一季度正式更新迭代Indepth AI智能体开发平台并发布首个制造业多智能体协议MACP旨在消除AI智能体间沟通壁垒 [4] - 多智能体协同平台工作流程示例主智能体调集销售计划成本费用等六类单智能体并行执行通过动态敏感性分析和查询知识库生成完整经营计划 [4] - 智能体协同调度实践需搭建多智能体协作平台作为调度中枢通过多智能体上下文协议灵活调度企业资源 [5] 行业趋势与前景 - 行业测算显示企业内部AI应用发展速度可能符合“摩尔定律”规律即每隔18个月AI相关应用数量翻一倍 [3] - AI大模型在各垂直产业中的商业化正逐渐加速但在工业应用场景中存在落地应用“最后一公里”难题 [2]
存储设备公司成长性:“价格周期”和“技术周期”共振带来高斜率
2025-11-18 09:15
涉及的行业与公司 * 行业为半导体设备行业 特别是存储设备领域 涵盖薄膜沉积 刻蚀等关键工艺环节[1] * 公司包括海外龙头泛林集团(Lam Research) 应用材料(Applied Materials) 东京电子(Tokyo Electron)[1][12] 以及国内公司中微公司 拓荆科技 北方华创 华海清科[1][11][25] 核心观点与论据 市场格局与规模 * 全球半导体设备市场由少数头部供应商主导 薄膜沉积领域全球市场价值量占比约20% 通常有三家左右头部供应商[1][2] * 泛林集团在干法刻蚀领域的全球市占率接近40%-50% 在薄膜沉积领域全球市占率接近20%[1][4] * 应用材料2024年收入体量预计130-140亿美元 泛林集团约为80亿美元 差异源自产品结构和工艺不同[15] 历史业绩与增长驱动 * 泛林集团收入从2014年48.6亿美元增长至2024年162亿美元 年复合增长率12.8% 利润从7.2亿美元增至42.9亿美元 年复合增长率约20%[1][5] * 2017年收入增速50% 利润增速68% 核心驱动力来自NAND存储器同比扩产83% DRAM同比扩产48% 以及3D NAND技术从2D向3D堆叠的结构性变革[9] * 3D NAND技术推动刻蚀和薄膜沉积设备需求 泛林在NAND领域收入从2014-2015年16.3亿美元增长到2022年74.7亿美元[1][11] 未来展望与预期 * 泛林预计2024年至2028年收入复合增长率保持在10%左右 毛利率计划从2024年47.6%提升至2028年50%左右[1][6][7] * 成熟期的国产半导体设备公司预计可实现25%左右的利润率[8] * 逻辑芯片节点间资本开支增速超过30% NAND资本开支增速可能达20%-30%[12] 技术发展趋势 * NAND向更高层数堆叠发展 从200层向300层 400层甚至500层以上演进 DRAM从平面结构向3D结构演进 显著增加对刻蚀与薄膜沉积装备的需求[3][12][16][22] * 3D NAND堆叠层数增加推动极高深宽比刻蚀工艺从40:1提升到90:1 并带来更多金属沉积的新材料应用[3][19] * DRAM市场受益于AI需求爆发 HBM需求增加推动资本开支增长 长兴HBM预计2026年进入产业化阶段[14][23] * 逻辑芯片向2纳米及更先进制程演进 从FinFET向GAA再向CFET过渡 设备开支密度预计实现两倍左右增长[24] * 新兴工艺如CMOS绑定(混合键合)被广泛应用 例如长江存储的X-stacking方案[3][18] 中国市场机遇与挑战 * 中国大陆DRAM和NAND需求占全球比例至少20%-25% 但主要厂商市占率仅10%左右 存在较大扩产空间[3][17] * 长江存储被制裁后 中微公司和拓荆公司正在填补市场缺口[1][11] * 中国存储企业上市将缓解资金压力 支持持续资本开支 有望在全球市占率达到20%以上[3][17] * 长江存储预计2026年进入300多层量产阶段 需通过进一步堆叠层数追赶国际领先水平(如三星 海力士已达400多层)[16] 其他重要内容 * SSD替代传统HDD成为主流存储设备 2017年因3D NAND技术转型期产能滞后导致供需失衡 价格大幅上涨[10] * 从2019年至2025年间 光刻机市场占比下降 而薄膜与刻蚀机占比持续上升[12] * 在180层到500多层NAND产品中 单万片设备开支需求增长约1.8倍[21] * 3D DRAM的发展将带来接近1.7倍的设备开支密度增长[22] * 钼金属的沉积工艺用量预计随技术迭代显著增长[20]
ASML CEO:危机大部分已过去
半导体行业观察· 2025-11-17 09:26
地缘政治事件与行业影响 - 荷兰政府与中国因Nexperia事件引发的僵局凸显了半导体供应链的脆弱性,对话对于防止争端升级至关重要[2] - 荷兰政府接管Nexperia关键决策权导致中国中断关键汽车零部件出口,扰乱了欧洲及其他地区的汽车生产[2] - 随着中国恢复部分Nexperia芯片出口,僵局出现缓和迹象,荷兰政府派遣代表团寻求双方都能接受的解决方案[2] - ASML首席执行官认为两国紧张关系短期内不会对公司造成影响,危机的大部分已经过去[3] ASML的公司概况与市场地位 - ASML是全球唯一一家能够生产极紫外光刻机的公司,该技术是制造最先进半导体芯片的关键[5] - 公司2024年净销售额达283亿欧元,目前市值超过3500亿欧元,是欧洲最有价值的公司[5] - 公司为台积电和英特尔等客户提供设备,用于制造从智能手机到人工智能加速器等各种产品的先进芯片[3] - 公司在全球拥有超过44,000名员工[5] ASML的核心竞争优势 - 竞争优势源于其极紫外光刻技术以及在物理学、光学和材料科学领域的突破性进展[5] - 围绕技术建立了由5000多家供应商组成的生态系统,其中80%的供应商位于欧洲[7] - 英特尔、台积电和三星曾直接投资其极紫外光刻项目,加速了技术研发并分担了风险[6] - 欧洲在保留专业知识方面具有结构性优势,人才基础更加根植于当地,使技术更难复制[7] ASML的企业文化与领导理念 - 公司文化强调开放性和好奇心,领导团队平易近人,没有严格的等级制度[8] - 创新由为客户创造的价值驱动,而非内部政治[8] - 领导层需具备长远眼光和克制作风,强调对客户信任和行业责任感[6] - 领导风格注重谦逊真诚、透明公开和勇于承担责任[8] 未来展望与战略重点 - 公司专注于拥有合适的产品、与客户建立良好关系以及进入未来至关重要的市场[9] - 领导力视角从个人认可转变为思考如何创造改变,从而获得更大的创造空间[9][10] - 公司认识到无法控制宏观经济或地缘政治,但通过做好核心业务能够应对风暴[9]
寻找铜互联的替代者
半导体行业观察· 2025-11-17 09:26
公众号记得加星标⭐️,第一时间看推送不会错过。 遵循摩尔定律,集成电路中晶体管尺寸的持续缩小——微芯片上的晶体管数量大约每两年翻一番—— 是一项非凡的工程壮举,突破了基础物理学的极限。晶体管是关键元件,它通过开关电流来调节端子 (导电连接点)之间的电流。当晶体管尺寸减小时,开关速度加快,从而使集成电路能够更快地处理 信息。 然而,随着晶体管尺寸缩小到纳米级,互连线——连接晶体管和微芯片上其他电路元件的金属导线 ——成为处理速度的主要瓶颈。因此,提升下一代电子设备集成电路的性能不能仅仅依靠缩小晶体管 尺寸来实现,还需要开发新型互连材料。 互连线用于将信号从一个电路元件传输到另一个电路元件。信号在导线中传输所需的时间称为电阻- 电容 (RC) 时间延迟,它取决于互连材料的固有电阻和周围介质元件(一种可被电场极化的电绝缘 体)的电容。因此,铜作为导电性最好的金属之一,一直是互连线的标准材料。然而,仿真结果表 明,目前使用的最小互连线(宽度约为 15 nm)的 RC 时间延迟可能高达晶体管开关速度的 20 倍。 互连线的RC时间延迟为何如此之大?铜的电阻会随着尺寸的减小而增大。金属内部电子的运动是造 成这种尺寸效应影 ...
被轻视的巨大市场,大厂做不好的Local Agent为何难?
36氪· 2025-11-12 19:51
AI行业范式转变:从参数竞赛到效率革命 - 大模型边际收益递减,训练成本飙升,GPT-4级别模型成本突破1亿美元,最尖端模型训练成本已接近10亿美元[1] - Scaling Law遭遇瓶颈,单纯增加参数对模型能力提升效果减弱[1] - 产业界从“参数竞赛”转向“效率革命”,小模型在多项任务中表现超越大模型,运营成本仅为后者1/10到1/30[2][4] 小模型技术突破与性能表现 - DeepSeek R1-0528将671B参数模型蒸馏到8B,在AIME 2024测试中反超原模型10%[2] - Qwen3-VL 4B/8B模型保持256K-1M超长上下文和完整多模态能力,在低显存设备上稳定运行[2] - GreenBitAI的GBAQ算法实现突破,3-bit模型用30-40%的Token消耗达成FP16级别推理质量[23] - 在Multi-Agent任务中,GreenBitAI 3-bit模型完成率达到100%,而竞品4-bit方案全线失败[25] 端侧AI基础设施技术创新 - GreenBitAI开发Local Agent Infra技术栈,包含模型层优化、性能层优化和上下文工程三大核心模块[22][28][29] - 模型层优化采用GBAQ算法框架,实现测试时扩展技术,无需训练即可提升推理性能[22] - 性能层优化采用混合精度策略和量化感知校准,实现跨硬件部署优化[28] - 上下文工程通过动态Context Engineering和信息降维技术,使16GB内存设备可处理百页文档[31] 本地AI市场机遇与商业化路径 - AI PC市场快速成长,预计2025年占PC市场31%,2026年达55%,出货量1.43亿台[35] - 2030年全球智能终端市场规模将达2.6万亿美元,行业应用占比超60%[36] - GreenBitAI规划三步走商业化路径:ToC端订阅、ToB端授权、平台化生态建设[36][37] - 端侧AI设备普及路径类似家庭Wi-Fi中继器,预计3年内50-80%任务迁移到本地[34] 硬件厂商的差异化战略布局 - 苹果采用垂直整合策略,自研芯片实现CPU、GPU和AI神经引擎内存共享,能效比提升三倍[6] - 英伟达推动GPU通用计算化,通过Tensor Core将AI训练矩阵乘法加速百倍[7] - 华为在鸿蒙生态中押注端侧大模型,英伟达推出桌面级DGX Spark产品[10] - 苹果M5芯片单位功耗AI计算效率相比M4提升数倍,消费级设备智能上限大幅提高[10] 专业级Local Agent产品突破 - GreenBitAI发布Libra beta release,全球首个支持完全本地化、断网运行的专业级Agent产品[32] - Libra专注于专业文档处理与生成,输出质量媲美人工专家,支持金融分析、学术论文等高标场景[32] - 产品在Apple M3芯片上实现预填速度1351.7 tokens/s,解码速度105.6 tokens/s,体验接近云端API[27] - 采用多领域专家协同模式,通过智能工作流配置实现复杂文档任务分工协作[33]
中泰资管田瑀:AI时代的价值投资和科技投资并不对立 价值判断需满足三个条件
智通财经· 2025-11-11 20:08
价值投资与科技投资的关系 - 价值投资与科技投资并非对立关系,价值投资的范围包括所有能评估价值的领域,其中自然包含科技行业[1] - 价值投资不区分成长行业或传统行业,只要满足“长期需求下限可判断”、“生意模式可评估且稳定”、“企业护城河可评估”三个条件即可进行价值判断[3] - 大众形成价值投资与科技投资对立的刻板印象,源于客观结果上投资科技的价值投资者较少,且价值投资者很少宣讲科技投资案例[6][7] 科技公司价值评估框架 - 评估科技公司价值需满足三个前提条件:长期需求的下限能判断、生意模式可评估且不会因技术变革大变、企业的护城河可评估[14] - 科技企业当期是否盈利并不重要,关键在于其商业模式是否确定、长期付费能力与盈利能力是否确定[14] - 科技行业研究存在较高门槛,需要对业务模式、护城河建立方式有深度理解,而非仅靠经验[19][20] AI对半导体行业的影响 - AI发展将推动未来很长一段时间内半导体行业整体需求增速快于过去10年,目前仍处于科技变革初期[1] - AI算力需求并未改变晶圆代工的生意模式,而是扩大了其护城河的价值,因为客户为算力性能提升愿意支付更高溢价[27][28] - AI计算模式从CPU的顺序计算变为神经网络的循环计算,导致计算次数与存储次数的比例发生巨变,显著提升对存储带宽和容量的需求[30] 晶圆代工行业特性 - 晶圆代工是护城河明显的生意,其门槛体现在先进制程,生产线投资规模从一两亿美金升至百亿美金,最先进制程全球呈利基市场特征[25] - 晶圆代工学习曲线陡峭,以4nm或7nm工艺为例,生产一片晶圆需200到400步工艺,单步骤良率的小幅提升需要大量经验积累[26][27] - 随着制程进步至22nm以下,物理极限出现,摩尔定律放缓成为确定性趋势,半导体制造可能演变为迭代速度放缓的行业[38][41][42] 存储行业供需变化 - AI计算模式变化使存储成为瓶颈,HBM等多层堆叠内存生产会占用通用DRAM产能,需求增速快于算力增速导致供需紧张[31] - 存储制造与晶圆代工的护城河构建方式类似,均依赖规模经济,全球范围内国内企业目前并非最领先[33] - 在自主可控背景下,国内存储制造企业通过产品采购、合作研发等机会有望跨越门槛,未来可能在全球变得有竞争力[34][37] 自主可控政策的影响 - 自主可控的产业政策方向明确,影响在于改变企业价值评估模型的输入参数,如未来市场份额和盈利能力,而非生意模式本身[36] - 国内晶圆代工和存储制造环节在自主可控背景下具备诞生优势企业的可能性,政策帮助解决客户不愿尝试新产品的困境[34][35] - 产业政策逻辑合理且执行坚决,研究重点在于通过自下而上调研确认执行程度,并将其作为评估模型的重要假设条件[36]
芯德半导体借政策东风申请香港IPO
BambooWorks· 2025-11-11 18:00
公司概况与上市进展 - 芯德半导体于2020年9月成立,主要从事半导体开发封装设计、提供定制封装产品以及封装产品测试服务 [3] - 公司已递交香港上市申请文件,为在香港上市铺路 [3] - 公司股东背景强大,包括联发科、龙旗科技及由小米董事长雷军私人持有的小米长江 [3] - 目前宁泰芯为最大股东,持有9.49%股权,其主要股东包括公司主席张国栋及总经理潘明东等管理层 [5] 行业背景与技术定位 - 在人工智能、5G、物联网及汽车电子发展下,半导体成为重要产业 [3] - 随着摩尔定律放缓,先进封装成为提升芯片性能最核心的技术突破点 [6] - 封装行业入场门槛高,需要巨大设备开支和大量顶尖芯片业人才 [6] - 公司是中国通用OSAT(委托半导体封装与测试)企业中排名第7位 [6] - 全球半导体封装与测试市场规模从2020年的4,956亿元增长至2024年的6,494亿元,复合年增长率为7%,预计2029年将增至9,330亿元 [8] 业务与财务状况 - 公司业务涵盖QFN、BGA、LGA、WLP及2.5D/3D等封装产品技术 [7] - 2025年上半年,QFN和BGA封装产品收入分别为1.47亿元和1.5亿元,占总收入比例达31%和31.8%,按年分别增长25.5%和18.4% [7] - 2025年上半年总收入为4.75亿元,按年增长22% [7] - 但公司仍处于亏损状态,2025上半年销售成本达5.52亿元,导致亏损2.07亿元,主要原因是材料成本高企 [8] - 经调整EBITDA在2024年上半年转正为934万元,到2025年同期大幅提高至5,934万元,按年大增535% [8] - 公司收入增长呈现放缓趋势,2023年、2024年及2025上半年收入增幅分别为89%、62.5%和22.1% [9] 市场机遇与挑战 - 芯片行业受益于国家政策扶持和国产替代需求,前景被看好 [9] - 公司业务受季节性因素影响,因客户主要来自消费电子行业,尤其受春节假期及客户备货周期影响,导致第二季及第四季度销售额通常周期性增加 [8]