小模型,也是嵌入式的未来
36氪·2025-08-22 09:29
小型语言模型(SLM)发展趋势 - 英伟达发布Nemotron-Nano-9B-V2小型语言模型,在部分基准测试中达到同类最高性能[1] - SLM参数范围从几百万到几十亿,由LLM通过知识蒸馏、剪枝、量化等技术压缩而来[2] - 主流SLM包括Meta的Llama3.2-1B、阿里的Qwen2.5-1.5B、微软的Phi-3.5-Mini-3.8B等10-40亿参数模型[2] SLM技术优势与应用场景 - 相比LLM具有更高效率,适合资源受限的边缘/嵌入式设备[2] - Aizip开发的Gizmo系列SLM参数规模3-20亿,已集成到Renesas RZ/G2L/G3S主板,响应时间<3秒[4][5] - 设备端SLM具备隐私保护、弹性操作和成本优势,但边缘设备工具调用准确性仍是挑战[4] 硬件厂商布局动态 - Alif Semiconductor发布Ensemble E4/E6/E8系列,首次采用Arm Ethos-U85 NPU支持Transformer网络[6] - E4设备执行SLM时功耗仅36mW,物体检测<2ms,图像分类<8ms[6] - 意法半导体、英飞凌、TI等厂商新一代MCU均开始集成NPU支持SLM[9] 行业未来展望 - 嵌入式AI正从高端MPU向MCU设备延伸,预计2025年下半年主流MCU厂商都将提供AI功能产品[9] - NPU技术路线分Arm Ethos IP和自研两派,Ethos-U85已展示SLM运行效果[9] - SLM将改变MCU/MPU市场格局,成为边缘智能关键支撑技术[9]