文章核心观点 - 国产算力正从“能用”走向“好用”，其利用率瓶颈主要在于软件生态与系统级优化能力，而非硬件本身[4][5] - 第三方AI Infra公司通过自研全栈软件（如推理引擎）和提供评测路由服务，在芯片多元化的市场中解决适配、优化和商业化问题，创造核心价值[5][12][26] - MaaS（模型即服务）市场增长迅猛且前景广阔，其发展核心在于通过技术优化降低成本和门槛，而第三方平台能有效消除供需信息差[15][30][33] 行业现状与挑战 - 国产算力面临“M×N”的碎片化挑战：底层有N款不同芯片，上层有M个不同大模型，需进行M×N次组合优化，工作量巨大[25] - 行业现状是各家芯片厂商自行适配推理引擎（如vLLM、SGLang），导致适配版本、功能和接口不一致，用户使用和维护难度大[21] - 市场长期存在重视硬件、轻视软件的惯性，但软件生态不完善是国产算力利用率低的核心症结[12][21] - 大模型正向低位宽浮点数（如FP8、FP4）演进，但大部分国产显卡目前不支持FP8，FP4适配更是缺乏，给客户带来成本与效果的两难选择[27] 公司解决方案与产品 - 公司自研“赤兔推理引擎”，旨在作为连接AI应用与底层芯片的核心桥梁，兼容海外及华为、沐曦、海光、燧原等主流国产芯片，降低客户使用门槛[21][22] - 选择全栈自研而非修改开源方案，是为了避免技术包袱，并实现从底层硬件、算子层、推理引擎到上层应用的全链路端到端联合优化，追求极致性价比[26] - 通过纯软件技术突破硬件限制，使FP4和FP8格式能在不支持该特性的国产显卡上运行，计算时转FP16保精度，存储时用FP8/FP4省显存，已在多平台完成适配[28][29] - 推出“AI Ping”平台，提供一站式大模型服务评测与API调用，以消除MaaS市场信息差，其单次API调用费用不到一分钱，成本和使用门槛极低[30] 市场机遇与趋势 - 中国MaaS市场增长远超预期，2025年上半年市场增长率已超过400%，头部云厂商甚至提前完成年度目标[33] - MaaS市场非常标准，未来将演变为卷性能和卷价格的竞争，而降低价格需要大规模优化技术[15] - 中国具备发展MaaS的优良土壤：供给侧拥有全球最繁荣的开源模型生态和爆发式增长的AI算力；需求侧因其低成本、低门槛优势，能吸引企业、个人、科研等多类开发者[35] - MaaS的盈利高度依赖技术，因为省去中间环节后利润损耗少，技术优势更为关键[16] 竞争定位与商业化 - 作为第三方AI Infra公司，其定位在于芯片厂商与云厂商之间，凭借软件优化积累与芯片厂商合作进行软硬件联合优化[12] - 第三方公司的存在具有必要性，例如采购多家芯片的国央企客户需要统一的软件进行管理和优化，否则将非常费劲[13] - 商业化路径已跑顺，尤其在MaaS领域，因为性能每通过推理引擎提升一点，厂商就能多挣一点钱，客户更愿意为能创造额外价值的技术付费[14] - 私有化部署利润可观，MaaS的商业化在过去较难，但现在已非常顺畅[14] 产品技术细节与成效 - 赤兔推理引擎0.5版本已发布，支持超大规模专家并行、PD分离、AF分离等能力，并已完成对华为384超节点方案的深度适配与性能优化[27] - 在DeepSeek-R1上的测试验证了技术方向：不同精度格式效果排序为FP8 > FP4 > INT8 > INT4，证明低位宽浮点数是大模型主流趋势[29] - AI Ping平台评测覆盖极广，已接入29家MaaS厂商，整合400余项MaaS服务，并执行7×24小时不间断评测[36] - 评测数据准确度高，与部分云厂商后台数据交叉验证显示，吞吐指标平均误差在0.2%以内，P90首次延迟稳定在0.8秒以内[38] - AI Ping的“路由”功能提供统一接口，可调用背后20多家供应商资源，根据数据最多能帮助用户降低50%的成本，同时优化延迟和吞吐指标[40][41]