Workflow
AI推理加速演进:云计算的变迁抉择

Akamai亚太区云计算专家团队负责人李文涛告诉21世纪经济报道记者,在与客户探讨AI趋势过程中, 不少公司CTO反馈,"前几年花了很多时间在练好内功,把模型训练好、调整好,但在推理方面着实有 些准备不足。" "因为与训练数据中心不同,推理过程需要考虑更多细节点。"他进一步分析道,例如在推理效率方面, 如何把服务变成可赢利的商业服务,此外还有推理可扩展性、合规性等。"真正把AI变成运营级服务, 需要有更多考虑。除了算力本身,还包括数据管理,简化、容器化的边缘运维、边缘计算等能力。" 李昇也指出,行业投资重心会越来越多转向推理,而不仅是训练。"推理效率主要是根据推理模型的吞 吐量、时延和成本去做综合评估。举例来说,Akamai的AI推理服务帮助企业提供了3倍推理吞吐能力, 降低了60%的推理时延。" 21世纪经济报道记者骆轶琪广州报道 开源大模型的高效迭代,让AI发展趋势正加速从AI训练转向AI推理,同时有更多小模型应用落地需求 出现,这些趋势正对云计算市场产生深远影响。 近日,Akamai副总裁暨大中华区总经理李昇在接受21世纪经济报道等媒体采访时表示,咨询机构IDC指 出,未来AI推理的市场规模预计将达训练 ...