文章核心观点 Cerence AI与Arm达成战略合作伙伴关系,将利用Arm的Kleidi软件库提升其嵌入式小语言模型CaLLM Edge的性能,以应对汽车行业在AI应用中的挑战,为驾驶者提供更好体验 [1][2][3] 合作背景 - 汽车制造商在为驾驶者引入AI功能时面临构建足够计算能力以处理大语言模型等密集工作负载的挑战,需要优化CPU性能和最大化计算的简便方法 [2] - 全球94%的汽车制造商在其最新车型中采用Arm技术,Arm汽车解决方案为车辆的AI功能提供基础计算架构 [2] 合作内容 - Cerence AI将利用Arm的Kleidi软件库提升CaLLM Edge的性能和能力 [1] - 双方灵活分配和并行化CPU与GPU之间的生成式AI计算负载,提升CaLLM Edge的速度和性能,同时支持增强隐私和数据安全 [3] 合作成果 - CaLLM Edge在使用Kleidi优化的Arm芯片组及其他SoC上完全自主运行,尽管车载语言模型计算能力有限、体积大且处理需求高,但仍展现出行业领先性能 [3] - 汽车制造商即使在无云连接情况下也能为驾驶者提供快速、智能的用户体验 [3] 双方表态 - Cerence AI产品与技术执行副总裁Nils Schanz表示与Arm合作将推动CaLLM Edge发展,为车内边缘计算树立新标准,创造汽车领域语音优先体验和下一代AI应用新时代 [4] - Arm汽车业务部副总裁Suraj Gajendra称AI正定义下一代复杂车载功能,利用优化确保AI在边缘无缝运行很重要,Cerence AI通过利用Arm Kleidi取得显著改进,期待继续合作在车内实现新的创新特定应用AI模型 [4] 公司介绍 - Cerence Inc.是汽车和交通领域AI体验全球行业领导者,利用语音、生成式AI和大语言模型的创新和专业知识,为驾驶者和乘客提供集成体验,超5亿辆搭载其技术的汽车已出货,公司总部位于马萨诸塞州伯灵顿,全球运营并致力于推动AI创新 [5]
Cerence AI Partners with Arm to Deliver Enhanced LLM Capabilities at the Edge