Workflow
推理算力需求爆发 七牛智能卡位AI Cloud或迎量价双增

近期,七牛智能(02567)在财报中公布AI相关收入达1.84亿元,贡献了总收入的22.2%。相关业务负责人 则表示,公司AI相关收入主要集中于AI推理服务和算力资源上,在8月初AI相关用户突破万人的基础 上,近期得益于可调用的大模型数量超过50个,涵盖了LLM推理模型、工具调用、AI编程、推理接口 支持Claude CodeAI等功能,七牛智能AI相关用户已达15000人。 要承接AI推理需求并不容易,需要在生产环境中不断降低模型推理请求的端到端延迟、提高吞吐率, 快速响应用户或业务系统的请求,在高请求压力(QPS——每秒请求数)和TPM吞吐率的要求下,推理算 力需求远超训练。此外,由于推理模型要给出有用、可操作的答案,需要高质量、可连通的企业数据, 企业级、垂直行业级的海量结构化数据资产则是进入"推理时代"的关键资源。 得益于七牛智能过去14年以来在音视频云服务上的积累,七牛智能低延迟、高吞吐的全球实时节点、海 量存储能力,以及将私有的音视频异构数据通过向量化、Private LLM接入等技术,安全地"向推理模型 暴露",这些能力都将反哺七牛智能的AI云服务第二增长曲线,在推理算力的价值链中占据上游数据提 ...