AI端侧推理创新

搜索文档
DeepSeek后更大的机遇:AI端侧推理创新 | 智在终端
量子位· 2025-03-11 13:24
行业趋势 - AI正在进入推理创新时代,高通提出混合AI概念,强调AI处理需分布在云侧和终端以实现规模化扩展[5][7] - 一次AI问答成本是传统搜索的1000倍,混合AI架构通过终端协同算力降低云端成本[7] - 2024年发布的大规模AI模型中超过75%参数在千亿规模以下,模型参数规模快速缩小[17][19] 技术突破 - DeepSeek-R1通过思维链推理数据微调和蒸馏实现推理能力赋予小规模稠密模型[12][13] - 蒸馏技术使大模型知识迁移到小模型,DeepSeek蒸馏版本在GPQA基准测试中与GPT-4o等先进模型表现相当[18][19] - 高通第三代骁龙8、骁龙X Elite等平台强化终端芯片对生成式AI的支持,衍生出AI一键消除路人等原生应用[8][35] 终端应用 - 荣耀、OPPO、小米等主流消费终端厂及吉利、比亚迪等超过20家车企快速接入DeepSeek[2][4] - 终端侧AI应用渗透日常用机习惯,如文档摘要、AI图像编辑、实时翻译及计算摄影[20][21] - AI成为新UI,荣耀"一句话点咖啡"等案例颠覆传统屏幕交互,未来将扩展至机器人、无人机等设备[22][23][24] 高通布局 - 高通2023年提出AI处理需云端与终端协同,终端能力、隐私需求及商业模式为关键影响因素[28][29][30] - 骁龙8至尊版Hexagon NPU支持70+ Tokens/秒生成能力,骁龙X系列平台定义AI PC新品类[35][37] - 高通AI软件栈及开发者生态支持跨平台部署,覆盖手机、汽车、XR等数十亿终端设备[41][42]