Arm Kleidi

搜索文档
端侧AI加速落地,Arm如何出招?
21世纪经济报道· 2025-05-29 15:45
端侧AI发展 - AI模型正变得更智能、规模更小但能力更强,推动端侧AI发展,已超出智能手机范畴[2] - 实体AI如机器人技术有望在1-3年内达到人类操作水平,机器狗、配送机器人等将带来巨大机遇[2] - 端侧AI加速向大众化市场下沉,带动数据中心和云计算需求激增,端云协同AI芯片市场持续扩大[2] AI系统构建关键要素 - 从云端到边缘打造高度可移植的平台对实现先进技术和产品功能至关重要[3] - 电力与每瓦性能成为关键指标,数据中心能耗从兆瓦级跃升至吉瓦级,超50%来自机架和半导体设备[3] - 软件同样重要,Arm在2024年推出AI软件库Arm Kleidi以支持AI发展[3] AI商业价值与推理 - 推理是实现AI商业价值的唯一方式,赋予AI智能性如机器人决策和手机智能化[4] - 训练最大规模模型的计算量是推理的10^11倍,需大量推理实现商业回报[5] - 大模型能力正推进至低价位段手机,AI在Arm CPU/GPU上运行良好,覆盖各价格区间[5] 芯片设计挑战与创新 - AI演进叠加摩尔定律放缓,芯片设计技术挑战增加,成本上升,上市时间愈发关键[6] - Arm推出计算子系统(CSS)帮助合作伙伴提升性能、降低成本并加快上市周期[6] - Arm将推出Armv9旗舰CPU(代号Travis),实现两位数IPC性能提升,引入可伸缩矩阵扩展加速AI负载[7] 数据中心市场拓展 - Arm预测2025年头部云服务提供商近50%算力将基于Arm架构,AI计算成为强劲驱动力[8] - Arm架构在PC/平板市场占比将超40%,全球2200万开发者支持Arm生态优化[8] - 云服务商迁移至Arm平台带来超40%能效提升,AWS新部署CPU算力超50%基于Arm技术[9] AI计算转型 - 数据中心从通用计算向AI计算转型,领先AI平台如NVIDIA Grace Blackwell基于Arm架构优化[9] - 云服务商自研加速器与Arm处理器紧密耦合,提升计算密度、I/O密度和带宽表现[9]
Cerence AI Partners with Arm to Deliver Enhanced LLM Capabilities at the Edge
Globenewswire· 2025-05-28 23:00
文章核心观点 Cerence AI与Arm达成战略合作伙伴关系,将利用Arm的Kleidi软件库提升其嵌入式小语言模型CaLLM Edge的性能,以应对汽车行业在AI应用中的挑战,为驾驶者提供更好体验 [1][2][3] 合作背景 - 汽车制造商在为驾驶者引入AI功能时面临构建足够计算能力以处理大语言模型等密集工作负载的挑战,需要优化CPU性能和最大化计算的简便方法 [2] - 全球94%的汽车制造商在其最新车型中采用Arm技术,Arm汽车解决方案为车辆的AI功能提供基础计算架构 [2] 合作内容 - Cerence AI将利用Arm的Kleidi软件库提升CaLLM Edge的性能和能力 [1] - 双方灵活分配和并行化CPU与GPU之间的生成式AI计算负载,提升CaLLM Edge的速度和性能,同时支持增强隐私和数据安全 [3] 合作成果 - CaLLM Edge在使用Kleidi优化的Arm芯片组及其他SoC上完全自主运行,尽管车载语言模型计算能力有限、体积大且处理需求高,但仍展现出行业领先性能 [3] - 汽车制造商即使在无云连接情况下也能为驾驶者提供快速、智能的用户体验 [3] 双方表态 - Cerence AI产品与技术执行副总裁Nils Schanz表示与Arm合作将推动CaLLM Edge发展,为车内边缘计算树立新标准,创造汽车领域语音优先体验和下一代AI应用新时代 [4] - Arm汽车业务部副总裁Suraj Gajendra称AI正定义下一代复杂车载功能,利用优化确保AI在边缘无缝运行很重要,Cerence AI通过利用Arm Kleidi取得显著改进,期待继续合作在车内实现新的创新特定应用AI模型 [4] 公司介绍 - Cerence Inc.是汽车和交通领域AI体验全球行业领导者,利用语音、生成式AI和大语言模型的创新和专业知识,为驾驶者和乘客提供集成体验,超5亿辆搭载其技术的汽车已出货,公司总部位于马萨诸塞州伯灵顿,全球运营并致力于推动AI创新 [5]