融资与公司概况 - 人工智能初创公司Modular Inc在第三轮融资中筹集2.5亿美元（约18亿人民币），公司估值达到16亿美元 [2] - 此轮融资由Thomas Tull的美国创新科技基金领投，DFJ Growth跟投，所有现有投资者均参与，使公司融资总额达到3.8亿美元 [2] - 公司成立于2022年，总部位于旧金山湾区，员工人数已超过130人，计划利用新融资在北美和欧洲扩大招聘，并扩展其云平台及业务重点 [5] 核心产品与技术平台 - 公司提供一个平台，允许开发人员在不同计算机芯片（包括CPU、GPU、ASIC和定制硅片）上运行AI应用程序，而无需重写或迁移代码 [2] - 平台是一个企业级AI推理堆栈，旨在抽象出硬件，解决当前AI部署生态系统的碎片化问题 [2] - 在过去三年中，公司构建了一个软件基础设施层和一种专门的编程语言，旨在让企业能够在多种芯片和服务器上部署人工智能模型 [2] 市场定位与竞争格局 - 英伟达目前在AI加速器市场占据主导地位，其Hopper和Blackwell架构预计为70%至95%的AI数据中心GPU提供支持，其专有框架CUDA已成为AI开发事实上的标准 [3] - 挑战者包括AMD公司，但其开源ROCm软件堆栈因开发工具多为CUDA编写而处于不利地位 [3] - Modular平台已支持Nvidia、AMD和Apple定制芯片的架构，其最新版本在下一代加速器（包括Nvidia B200和AMD MI355）上的性能比vLLM和SGLang等领先框架提升20%至50% [4] 合作伙伴与生态系统 - AMD、Nvidia和亚马逊公司已加入成为Modular的生态系统合作伙伴 [5] - 公司与AI应用开发商合作，例如与Inworld AI合作加速语音合成，与San Francisco Compute Co合作运营GPU集群市场 [5] 技术优势与发展路线 - Modular的AI推理引擎Max于2023年推出，支持x86和Arm CPU，并增加了对Nvidia GPU的支持，意味着公司拥有了CUDA的全栈替代品 [9] - Max可以满足Nvidia A100和H100 GPU的CUDA性能，从引入H100支持到达到或超过其生成式AI推理性能仅用了两个月时间 [10][11] - 公司对硬件功能的更高层次抽象实现了高性能的可移植性，目标是成为芯片制造商和软件开发者之间的桥梁 [12] - 对非Nvidia GPU和其他类型加速器的模块化支持将于2025年底开始 [12] 未来规划与集群管理 - 公司计划将业务重点从AI推理领域拓展到AI训练领域 [5] - Modular正在为其堆栈开发集群管理功能，构建了数据和控制平面，可以在节点之间一致地路由请求，管理整个集群的状态和分布 [13] - 其理念是将查询在正确的时间智能地路由到正确的硬件，考虑到批量大小和序列长度支持等因素的权衡 [14]