Scaling Law
搜索文档
中欧基金科技战队:既要抓住产业趋势,也要关注长期价值
雪球· 2025-03-19 16:30
文章核心观点 - 面对AI行业快速变化和复杂挑战,中欧科技战队摸索出工业化组织样本,通过更早更广覆盖、专业化分工与流程化协作、平等沟通机制,提升投研能力和胜率,在科技浪潮中收获成果 [3][6][9] 分组1:AI行业变化与挑战 - 2024年12月中欧基金科技研究小组预判国产大模型能力追赶进度,一个月后DeepSeek问世引发AI变革,给投研带来全球性、时效性挑战 [1] - 智能机器人发展冲击科技基金经理传统打法,投资颠覆性创新面临量产摸索和数据体系不完善问题 [2] 分组2:投研团队适应AI节奏的方法 曲速引擎:更早更广覆盖 - 建设对AI行业更早更广覆盖的投研平台,助推学习速度领先产业变化,研究AI比新能源更复杂 [6] - 基金经理和研究员早有AI研究储备,中欧基金在科技产品数量、投研人员储备和细分行业覆盖上领先,指数产品布局覆盖全产业链 [7] - 周蔚文和杜厚良有前瞻判断,如机器人行业空间和算力国产化趋势,战队旗下产品在科技浪潮中收获满满 [8][9] 共乘一舰:专业化分工与流程化协作 - 依靠团队专业化分工和流程化协作,形成勾稽关系,如光模块研究需多环节验证 [10] - 团队成员横向学习赋能,发挥各自专长,相互协作补齐短板,挖掘投资机会 [12] 惯性阻尼:平等沟通回避风险 - 周蔚文不强迫基金经理投资,提供附加值和减小回撤方法论,制定平等透明沟通机制应对分歧 [15] - 分歧交锋对基金公司珍贵,做科技股要控制风险,抓住产业趋势同时关注长期价值 [16] 分组3:洞见与团队的重要性 - 公募基金靠洞见领先长期业绩,洞见需靠团队,中欧制造理念下的组织注重平等自由和团队协作 [18]
刚刚,老黄携GB300震撼登场!DeepSeek推理暴涨40倍加速全球最快,26年Rubin问世
创业邦· 2025-03-19 11:17
文章核心观点 英伟达在GTC大会展示过去一年进展,发布新产品路线图,强调Scaling Law未撞墙,未来数据中心建设规模将达万亿美元,还推出开源推理软件和通用机器人模型,有望在AI和机器人领域持续引领发展[1][23][27] 分组1:大会亮点与行业趋势 - 英伟达老黄在GTC大会介绍过去一年进展,称今年GTC是AI的超级碗,每个人都是赢家 [2] - Blackwell全面投产,因AI拐点至,训练推理AI/智能体系统对计算量需求大增 [3] - 英伟达预言未来有工厂的公司将有实体工厂和AI工厂,CUDA核心及算力将引爆行业变革 [4] - 通用计算到尽头,行业正从通用计算机转向加速器和GPU上运行的机器学习软件,计算机成为生成token的工具 [28] - 加速计算趋势无法阻挡,AI将进入各行业,英伟达CUDA - X库为科学领域提供加速框架 [29] 分组2:产品路线图 - AI芯片每年一更,下一代Rubin明年亮相,英伟达构建云上、企业和机器人AI基础设施 [5][8] - 今年下半年将问世的Blackwell Ultra提升训练和测试时推理能力,显存从192GB提升到288GB,GB300 NVL72的AI性能比NVIDIA GB200 NVL72高出1.5倍 [6][7] - 2026年下半年预计发布Vera Rubin,推理时每秒50千万亿次浮点运算,比Blackwell速度高出一倍多,显存升级为HBM4,带宽从8TB/s提高到13TB/s,扩展NVLink吞吐量提升到260TB/s,机架间CX9链路达28.8TB/s [9][10] - 2027年下半年预计推出Rubin Ultra版本,FP4精度推理性能达15 ExaFLOPS,FP8精度训练性能为5 ExaFLOPS,相比GB300 NVL72性能有14倍提升,配备HBM4e内存,带宽为4.6 PB/s,支持NVLink 7,带宽为1.5 PB/s,较上一代提升12倍,机架支持CX9,带宽达115.2 TB/s [11] - 2028年将上市Feynman,命名致敬美国理论物理学家Richard Feynman [17] 分组3:桌面级产品 - 推出Blackwell RTX PRO工作站和服务器系列,包括数据中心、桌面和笔记本GPU,为开发者等提供AI支持,RTX PRO 6000 Blackwell吞吐量高达1.5倍,第五代Tensor Core每秒4000万亿次AI运算,第四代RT Core性能提升2倍 [19] - 带来两款由Blackwell驱动的DGX个人桌面AI超级计算机DGX Spark和DGX Station,DGX Spark是最小的AI超级计算机,配备128GB内存,核心是GB10 Grace Blackwell超级芯片,每秒1000万亿次AI计算能力;DGX Station将数据中心级性能带到桌面,采用GB300 Grace Blackwell Ultra桌面超级芯片,配备784GB统一内存 [20][22] 分组4:Scaling Law与数据中心 - 老黄称Scaling Law没撞墙,推理计算量需求大增,数据可通过强化学习和合成数据获取,AI处于转折点 [25][26] - 2024年全球TOP 4云服务商买进130万块Hopper架构芯片,预计2028年数据中心建设规模达一万亿美元 [27] 分组5:架构与扩展 - 英伟达通过网络InfiniBand和Spectrum X实现scale up,Spectrum X具备低延迟和拥塞控制特性,成功扩展最大单GPU集群 [14] - 官宣首个共封装硅光子系统,每秒1.6T的CPO,基于「微环谐振器调制器」技术,用台积电工艺构建,可扩展至数十万甚至百万GPU规模 [15][16] - HGX系统架构解决纵向扩展问题,包含8个GPU,通过MVLink 8连接到CPU架,再通过PCI Express连接,用InfiniBand连接多个设备,NVLink交换机让GPU全带宽通信,液冷压缩计算节点,实现一个机架Exaflops级超算 [31][32][33] 分组6:推理Scaling问题与解决 - 推理Scaling是「终极计算」问题,推理中响应时间和吞吐量存在矛盾,需最大化生成token曲线下方面积,还需巨大带宽和浮点运算能力 [36] - 传统LLM用不到500个token快速回答问题但结果错误,推理模型需超8000个token推理简单问题,计算量增加150倍,万亿级参数模型需通过管线、张量和专家并行组合解决,NVlink可实现规模终极Scaling [37][38][39] 分组7:NVIDIA Dynamo - 发布开源推理软件NVIDIA Dynamo,被称为「AI工厂的操作系统」,能协调加速数千个GPU间推理通信,分配LLM处理和生成阶段到不同GPU,优化GPU资源利用 [41][42] - Dynamo能让运行Llama模型的AI工厂在Hopper架构上性能和收入双双翻倍,在GB200 NVL72集群上运行DeepSeek - R1模型时,每个GPU生成token数量提升超30倍,还能动态分配GPU、卸载推理数据降低成本 [42] - Dynamo完全开源,支持PyTorch、SGLang、NVIDIA TensorRT - LLM和vLLM [43] 分组8:性能对比与效益 - 新的Blackwell架构比Hopper强,能耗固定时性能提升25倍,推理模型上高40倍,用MVLink 8技术加速,引入4位浮点数优化,能效高的架构对未来数据中心重要 [44] - Blackwell扩展到MVLink 72加上Dynamo软件效果更好,能适应不同工作负载,老黄认为大型项目投资最新技术如Blackwell可避免落后,买得越多赚得越多 [45][46] 分组9:通用机器人模型 - 预计本世纪末世界劳动力短缺超5000万,通用机器人时代到来,具身智能遵循三大Scaling Law,数据短缺问题可由英伟达Omniverse和Cosmos解决 [48][49] - 官宣世界首个开源、完全可定制的通用人形机器人模型GROOT N1,采用「双系统架构」,慢思考系统推理规划行动,快思考系统转化为精确动作,可执行多步骤任务 [50][51][52] - 与DeepMind、迪士尼研究开发下一代开源的Newton物理引擎,让机器人精确处理复杂任务,以星球大战BDX机器人为灵感的Blue上台互动,老黄预言机器人领域将成最大产业 [54][55][56]
中欧科技战队:制造「工业化」星舰,穿越AI光变纪元
远川投资评论· 2025-03-14 15:07
文章核心观点 - 中欧科技战队面对AI行业快速变化,通过构建对AI行业更早更广覆盖的投研平台、专业化分工与流程化协作以及平等沟通机制,提升投研能力,在科技浪潮中收获成果,强调团队洞见对长期业绩领先的重要性 [2][4][17] 分组1:AI行业变化与投研挑战 - 2024年12月中欧基金科技研究小组预判国产大模型能力追赶进度,一个月后DeepSeek问世引发AI变革,投研需应对行业快速变化和全球性、时效性挑战 [1] - AI产业供给侧和需求侧全新,与新能源等行业相比,投资过程更复杂,需不断思考AI对行业和公司的影响 [4] 分组2:中欧科技战队投研平台建设 - 中欧科技战队摸索出工业化组织样本,通过对AI行业更早更广覆盖确保认知领先,依靠专业化分工和流程化协作保证学习深度,以平等沟通机制回避风险 [2] - 中欧基金在人工智能等行业配置专门研究员,主动产品线覆盖AI细分行业,指数产品布局占据科技领域较大比重,关注AI顶级大厂动态,做出前瞻判断 [5][6] - 周蔚文早在2013年开始关注机器人,2023年提及人形机器人机会,去年中欧内部达成机器人投资共识并确定关键要素 [6] - 杜厚良去年下半年分享算力国产化逻辑,认为先进制造竞争格局将更集中,未来国产算力芯片市场空间增大 [7] 分组3:投研团队专业化分工与协作 - 中欧投研团队依靠专业化分工与流程化协作,通过全产业链研究的勾稽关系相互补足、验证,如对光模块的研究 [9] - 团队成员在日常研究中横向学习赋能,发挥各自专长,相互交流合作,挖掘投资机会 [11] 分组4:风险控制与沟通机制 - 周蔚文作为管理者提供附加值,摸索减小回撤的方法论,通过长期定价提示风险和参考历史数据统计,制定平等透明沟通机制应对分歧 [14] - 团队成员间的分歧交锋有助于控制风险,做科技股投资要抓住产业趋势,关注长期价值 [15] 分组5:团队洞见与长期业绩 - 公募基金要长期业绩领先需靠团队洞见,中欧科技战队营造平等自由氛围,让洞见在团队中涌现 [17]
晚点播客丨MiniMax 闫俊杰聊大模型 2024:一个非共识判断引起的回声
晚点LatePost· 2025-01-22 21:56
模型能力与用户规模关系 - 更好的模型可以导向更好的应用,但更好的应用和更多用户并不会导向更好的模型 [5] - 字节跳动发布 Doubao-1.5-pro 模型技术报告,提到通过用户数据飞轮持续提升模型实际使用体验 [5] - 行业误区认为更好的智能水平依赖更多用户,但实际并非如此 [7] MiniMax 公司概况 - MiniMax 的 AI 社区产品 Talkie 最新月活用户数已超 Character.ai,成为同类产品全球第一 [6] - 中国 AI 社区产品 "星野" 用户数、使用时长和留存率均为第一,高于字节旗下同类产品 [6] - 视频生成平台海螺 AI 是全球访问量最高的视频生成网站 [6] 技术驱动与开源策略 - MiniMax 开源新模型系列以加速技术迭代和加强技术品牌 [7] - 明确公司为技术驱动,追求模型能力上限提升而非依赖用户规模 [7] - 模型架构改进:将传统 Transformer 的非线性注意机制改为线性注意力机制,提升 long-context 处理能力 [29] Agent 与多模态发展 - Agent 需在专业领域达到专业人士水平,处理复杂任务 [25] - 多模态能力在 OpenAI AGI 路线图中占据重要位置 [39] - AI 编程助手 Cursor 的成功并非基于特定方向模型 [41] 市场竞争与公司定位 - 大模型竞争与移动互联网逻辑不同,更多人意识到这一差异 [01:11:19] - 未考虑被字节收购,公司目标非出售而是技术突破 [01:12:29] - 大厂投入和竞争激烈程度在预料之中 [01:16:28] 团队管理与 CEO 反思 - 公司需要两种人才:技术能力强和认知能力突出 [01:23:24] - CEO 决策关键在于组织有共同标准,而非个人决策 [01:26:56] - 去年反思最多的问题是认知能力提升速度不足 [01:32:08] 产品与用户洞察 - Talkie 和星野的领先优势源于更懂用户需求 [01:06:48] - 海螺文本的失利因未坚持技术驱动策略 [01:04:44] - 市场可同时容纳模型和应用公司,无需非此即彼 [01:01:38]
她为何被雷军挖角
投资界· 2025-01-21 15:35
公司背景与起源 - 公司DeepSeek(深度求索)为杭州AI企业 由幻方量化创始人梁文锋于2023年创立 团队源自浙江大学电子工程系人工智能方向[4][5][11] - 幻方量化成立于2015年 为中国头部量化私募机构 管理规模曾超千亿 被称为"量化四大天王"之一[6][11] - 公司拥有万张英伟达显卡集群 2020年投入10亿元建设"萤火二号"超算 为芯片禁令前稀缺资源储备[11] 技术突破与性能表现 - 2024年末发布开源大模型DeepSeek-V3 在多项基准测试中超越LLaMa 3.1 媲美GPT-4o和Claude 3.5[5] - 数学推理能力突出:MATH-500测试准确率达90.2% 超过LLaMa 3.1的73.8%和Claude 3.5的74.6%[15] - 代码生成优势显著:HumanEval-Mul测试通过率82.6% 高于LLaMa 3.1的77.2%和Claude 3.5的80.5%[15] - 创新"深度思考"功能 展示AI推理过程 增强答案可信度[13][14] 成本效率革命 - 训练成本仅557.6万美元 使用2048张H100 GPU 耗时53天 相当同行1/10资源消耗[6] - 预训练仅需266.4万GPU小时 为LLaMa 3.1的1/11(3080万GPU小时)[18] - API定价极具竞争力:输入每百万tokens收费1元 输出2元 仅为GPT-4 Turbo价格的1.4%-0.9%[9][10] 技术创新路径 - 采用MLA(多头潜在注意力)架构 压缩数据提升计算效率 减少算力需求[9][16] - 首创FP8混合精度训练框架 降低数据精度至8位 大幅节省存储和计算资源[16][17] - 应用DualPipe跨节点通信优化 减少GPU流水线并行中的"计算气泡" 提升资源利用率至行业5倍以上[18][20] 行业影响与定位 - 被海外专家称为"AI界拼多多" 迫使国内外巨头降价 重塑行业定价体系[8][10][20] - 打破Scaling Law依赖 证明小团队通过工程优化可实现超大规模模型效能[6][20] - 开源策略推动技术透明化 每次发布附带详细技术报告 促进生态发展[6][21] 团队与文化特质 - 团队规模约90人 以清华北大应届生为主 平均年龄轻 无海归背景[11][21] - 管理扁平化 无公关团队和融资需求 专注技术原始创新[11][20] - 坚持"不贴钱不暴利"原则 目标参与全球创新浪潮而非短期商业化[11][20]
AI正在诞生一个万亿级公司
投资界· 2024-12-25 16:24
人工智能行业投资趋势 - 人工智能已从概念阶段发展为全面赋能各行业的工具,投资方向从基础层向应用层转移[6][8][9] - 2023年全球推出87个知名AI模型(产业界51个+学术界15个+合作21个),技术突破持续加速[12] - 广州基金管理的14家独角兽企业涉及商汤科技、小马智行等AI项目,累计管理规模超1100亿元[7] 投资机构布局策略 - 真格基金坚持"投人逻辑",80%被投项目创始人为90后,40%为连续创业者[8][10][19] - 啟赋资本聚焦AI应用层,重点布局具身智能产业链(触觉传感器/陪伴硬件/健康管理设备)[9][12] - 广州基金采取"基础层-技术层-应用层"全覆盖策略,关注智能网联/人形机器人/垂直行业大模型[9][12] 细分赛道机会 - 具身智能处于类似GPT2.0前的早期阶段,传感器等技术临近产业化拐点[12][14] - 垂直行业大模型因高质量数据集优势,成为AI与高端制造结合的关键切入点[9][12] - AI+硬件(机械臂/陪伴机器人)和老龄化相关应用(护理机器人)呈现明确付费意愿[9][13][16] 投资方法论 - 保持"牌桌参与":持续接触项目+深度独立思考+融入核心圈层[15] - 系统化赛道研究:完整扫描产业链环节,识别技术成熟度与商业化临界点[18] - 年轻创始人红利:1997年前后出生的创业者正成为新一代AI领军力量[10][19] 行业长期展望 - AI将如同互联网般融入各行业基础盘,催生万亿级企业的速度可能快于互联网时代[14] - 技术迭代呈现Scaling Law边际效应递减,预训练模型资产快速贬值倒逼应用创新[8][10] - 国有资本强调耐心资本属性,需陪伴企业度过AI技术商业化落地周期[16][17]
晚点播客丨OpenAI o1 如何延续 Scaling Law,与硅基流动袁进辉聊 o1 新范式
晚点LatePost· 2024-09-20 23:22
OpenAI新模型o1的技术突破 - o1通过强化学习、思维链(CoT)和推理阶段算力分配(test-time compute)三大技术方法显著提升逻辑推理能力,尤其在科学、数学和编程任务上表现突出[3][8][9] - 模型在推理阶段采用"系统2"式多步反思机制,平均需调用10次单模型推理,算力消耗增至10倍[19][24] - 技术组合验证了推理端算力投入的边际收益,开辟新优化方向,可能推动行业从单纯追求训练规模转向训练-推理协同优化[20][22] 行业应用与开发者生态 - AI应用开发呈现"草根化"趋势,个人开发者和小微企业占比提升,典型场景包括教育玩具、编程辅助、遗嘱撰写等垂直领域[40][41][42] - 开源模型加速应用创新,国内开发者主要调用通义千问(Qwen)、DeepSeek和GLM-4,其中Qwen因版本齐全受青睐,DeepSeek以编程能力见长[45] - 应用爆发呈现"巷战"特征,大量小型AI功能嵌入钉钉等工作流,日调用量达数亿tokens,但尚未形成超级应用[46][47][48] 算力市场与公司战略调整 - 国内GPU算力价格下降,主因基础模型训练需求减少和电力成本优势,但超大规模训练集群仍稀缺[38][39] - Meta等开源策略改变行业格局,多数公司转向基于开源模型开发,仅资源充沛或AGI目标明确的公司继续自研基础模型[36][37] - o1推动推理优化基础设施需求,硅基流动等公司探索并行推理、依赖关系优化等技术降低计算延迟[34] 技术演进与竞争格局 - 模型架构可能出现"小推理核心+大知识库"的分化设计,专业化场景采用参数更少的推理模块[26][29] - 苹果Siri、微信等现有入口产品在整合AI能力上具优势,但尚未出现原生AI超级应用[49][51] - 技术扩散速度加快导致先发优势窗口期缩短,企业需在效果优化与商业化节奏间寻找平衡[37][52]
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 21:52
C.AI被收购的核心逻辑 - 交易本质是以授权协议变相收购 旨在规避反垄断监管[1] - 30名底层模型开发人员加入Google 100余名产品团队保留在C.AI[1] - 公司结局由创始人Noam Shazeer的决策路径决定 其作为Transformer论文核心作者选择AGI赛道[1] 公司定位与战略失误 - 2022年12月明确"全栈AGI公司"定位 导致资源分散在模型研发与产品两端[1] - 2023年产品团队仅0.5人 模型团队数十人 反映资源错配[3] - 创始人提出"AGI公司+产品优先公司"并列定位 引发投资人质疑商业模式闭环[3] 行业竞争格局演变 - 2023年三大2C产品形态:ChatGPT类、Perplexity类搜索、C.AI类陪聊[1] - 开源模型崛起加速推理成本下降 自研模型必要性降低[3] - 底层模型战争结束 形成Google/Anthropic/OpenAI三足鼎立[4] 大厂战略布局对比 | 厂商 | 模型战略 | 关键动作 | |--------|--------------|---------------------------------| | Google | 全链路自研 | 收购C.AI团队 巩固Gemini生态[6] | | 微软 | 混合策略 | 收购Inflection对冲OpenAI风险[8] | | Meta | 开源主导 | 推动Llama生态 放弃商业变现[9] | 资本市场的决定性作用 - Scaling Law导致资源向头部集中 第二梯队难获融资[4] - 2021年SaaS公司PS达60-70倍 2023年暴跌至6-7倍 凸显融资时机重要性[10] - 出行行业"大黄蜂案例"显示资本站队决定竞争结局[4] 行业趋势判断 - 模型商品化成为共识 工程落地能力取代底层研发壁垒[4] - 端到端全栈模式被证伪 开源方案成为产品公司首选[3] - 大厂战略摇摆直接影响创业公司退出路径[10]
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 21:52
C.AI被收购的核心逻辑 - 交易本质是以授权协议变相进行的收购 主要目的是规避反垄断监管[1] - 公司定位为底层模型研发企业而非应用公司 30名核心模型开发人员加入Google 100余人产品团队独立运营[1] - 创始人Noam Shazeer作为Transformer论文核心作者 创业初期选择"全栈AGI公司"定位埋下后续发展路径依赖[1][3] 公司战略定位问题 - 2023年A轮融资时以"0收入 10亿美元估值"获得资本青睐 依赖模型研发叙事支撑高估值[1] - 同时宣称"AGI公司"与"产品优先公司"造成定位混淆 产品团队仅0.5人全职 模型研发人员占比超80%[3] - 开源模型崛起加速推理成本下降 自研模型失去性价比优势 被迫转向Meta的Llama等第三方解决方案[3] 行业竞争格局演变 - 底层模型战争进入终局阶段 OpenAI/Anthropic/Google形成第一梯队 创业公司需依附大厂生存[4] - 模型商品化趋势明显 类似云计算成为基础设施 产品公司可专注工程落地与开源方案结合[4] - Scaling Law导致资源向头部集中 资本仅支持少数代理人 类似出行市场滴滴快的的垄断格局重现[4] 科技巨头战略对比 | 公司 | 技术栈特征 | 典型案例 | |---------|---------------------------|-------------------------| | Google | 全链路自研 TPU芯片至Gemini模型 | 收购C.AI团队补充模型能力[6] | | 微软 | 模块化合作 Azure绑定OpenAI | 收购Inflection作为备选[8] | | Meta | 全面开源策略 聚焦Llama生态 | 不依赖模型商业化[9] | 创始人决策启示 - 2023年市场狂热期应更激进融资 维持大模型第一梯队地位[4] - 战略定位需避免"既要也要"矛盾 国内某公司"模型即产品"叙事更具逻辑一致性[3] - 退出时机选择关键 25亿美元收购价在行业下行周期仍属成功[10]