边缘推理

搜索文档
AI推理加速演进:云计算的变迁抉择
21世纪经济报道· 2025-05-21 19:09
AI发展趋势 - 开源大模型高效迭代推动AI发展从训练转向推理 小模型应用落地需求增加 对云计算市场产生深远影响 [1] - IDC预测未来AI推理市场规模将达训练需求的十倍以上 垂直场景小模型部署潜力更大 [1] - 行业投资重心转向推理 企业需关注推理效率(吞吐量、时延、成本) Akamai服务提升3倍吞吐并降低60%时延 [2][3] 云计算架构变革 - 边缘计算成为重要增长点 分布式架构需满足低延时(10毫秒)、灵活部署 Akamai覆盖130国4200边缘节点 [3] - 混合云/多云策略被绝大多数企业接受 客户探讨如何执行符合业务特性的多云战略 [1] - 边缘推理优势显著:靠近用户提升体验 满足数据主权要求 降低数据传输成本 [3] 模型应用特征 - 实际生产中89%用户采用小模型解决具体问题 商业化程度高于大模型 智能客服等场景已验证效果 [2] - 时延敏感领域更适合边缘部署小模型 "快思考"与"慢思考"模型需差异化云环境部署 [3][4] - 中国企业出海加速嵌入AI推理能力 如商旅行业用AI生成非定制行程建议 [5] 行业挑战与优化 - 企业CTO反映前期过度投入训练 推理准备不足 需构建运营级服务能力(算力/数据管理/边缘运维) [2] - "慢思考"模型推高云计算成本 迫使企业优化服务效率 需平衡资源使用与成本 [3] - 推理需额外考虑可扩展性、合规性等要素 与训练数据中心要求存在差异 [2]