Workflow
小型语言模型(SLM)
icon
搜索文档
垂直领域小型语言模型的优势
36氪· 2025-11-04 19:13
"您是否知道,许多'小型'人工智能模型在性能上优于较老、较大的模型——而且仅使用了一小部分资源?" 想象一下,直接在你的智能手机上运行强大的AI助手,无需访问云端,即可在几毫秒内处理你的请求。这并非科幻小说——小语言模型正在 将这一切变为现实,触手可及。 连续三年,人工智能界一直痴迷于一个简单的等式:越大越好。 科技巨头们投入数十亿美元构建庞大的语言模型,每一个模型都比上一个更大: • 据传拥有万亿个参数的 GPT-4 • 克劳德拥有数千亿 • Meta 的 LLaMA 突破极限,达到 700 亿 每一次突破似乎都遵循同样的模式——更多的参数、更大的功率、更多的可能性。 但2025年发生了一件意想不到的事情。 一 改变一切的剧情转折 随着企业人工智能部署从概念验证阶段过渡到生产阶段,一个令人惊讶的事实浮出水面: 越大并不总是越好。 英伟达一项突破性研究表明,40%至70%的企业级人工智能任务可以通过小型语言模型(SLM ) 更高效地处理——这些紧凑而强大的模型参 数少于100亿,具有以下特点: ✓ 速度比同类巨型设备快 10 倍 ✓ 部署和维护成本降低 5-20 倍 ✓ 更可靠,适用于特定业务任务 ✓ 设备端 ...
小模型,也是嵌入式的未来
36氪· 2025-08-22 09:29
小型语言模型(SLM)发展趋势 - 英伟达发布Nemotron-Nano-9B-V2小型语言模型,在部分基准测试中达到同类最高性能[1] - SLM参数范围从几百万到几十亿,由LLM通过知识蒸馏、剪枝、量化等技术压缩而来[2] - 主流SLM包括Meta的Llama3.2-1B、阿里的Qwen2.5-1.5B、微软的Phi-3.5-Mini-3.8B等10-40亿参数模型[2] SLM技术优势与应用场景 - 相比LLM具有更高效率,适合资源受限的边缘/嵌入式设备[2] - Aizip开发的Gizmo系列SLM参数规模3-20亿,已集成到Renesas RZ/G2L/G3S主板,响应时间<3秒[4][5] - 设备端SLM具备隐私保护、弹性操作和成本优势,但边缘设备工具调用准确性仍是挑战[4] 硬件厂商布局动态 - Alif Semiconductor发布Ensemble E4/E6/E8系列,首次采用Arm Ethos-U85 NPU支持Transformer网络[6] - E4设备执行SLM时功耗仅36mW,物体检测<2ms,图像分类<8ms[6] - 意法半导体、英飞凌、TI等厂商新一代MCU均开始集成NPU支持SLM[9] 行业未来展望 - 嵌入式AI正从高端MPU向MCU设备延伸,预计2025年下半年主流MCU厂商都将提供AI功能产品[9] - NPU技术路线分Arm Ethos IP和自研两派,Ethos-U85已展示SLM运行效果[9] - SLM将改变MCU/MPU市场格局,成为边缘智能关键支撑技术[9]