小语言模型（SLM）的优势 - SLM已足够强大，能处理AI智能体中大多数重复、专一的任务，且天生更适合智能体系统的架构，灵活且易集成 [3] - 从经济角度看，SLM更省钱、更高效，能大幅降低AI运行成本 [3] - SLM小巧，训练/微调成本低（几小时GPU就行），易适应新需求（如新法规），带来"民主化"，让更多人能开发智能体，减少偏见，促进创新 [5] AI智能体市场的现状与问题 - 2024年AI智能体市场已达52亿美元，预计到2034年飙升至2000亿美元，企业中超过一半已经在用 [5] - 目前大多数AI智能体依赖LLM作为"大脑"，但任务往往重复单一（如"检查邮件""生成报告"），用LLMs过于浪费资源 [5] - 智能体系统任务的特点使得小模型能更好的适配智能体生态，从而更有可能交付出更符合要求的结果 [5] SLM的技术特点与性能 - SLM能装进普通消费电子设备（如手机或笔记本），推理速度快，能实时服务一个用户的智能体请求，10亿参数以下的模型可以算是SLM [9] - 最前沿的小模型如Phi-3和Hymba，在工具使用、常识推理和指令遵循方面，性能足以媲美30B到70B的大模型，但在实际工作流中的计算量却降低了10-30倍 [11] - 英伟达测试发现：MetaGPT 60%的任务可用SLM取代，Open Operator 40%，Cradle（图形界面自动化）70% [11] SLM未被广泛采用的原因 - 路径依赖：大量资金（高达570亿美元）被投入了中心化的大模型基础设施，团队倾向于重复使用付费设置，短期内难以转变 [11] - 行业内对「大即是好」的偏见依然强烈，小型模型的研究一直在追逐用于大型模型的相同广泛基准，这些测试体现不出小模型在智能体任务上的优秀表现 [12] - SLM几乎没有GPT-4那样的热度，小模型也不像大模型那样经历营销热潮，许多构建者从未尝试过更便宜更合理的路线 [13] SLM的未来发展建议 - 收集梳理数据，针对特定任务微调SLM，把任务进行聚类并建立SLM的"技能" [13] - 智能体运行时自然产生的专精数据可用来微调SLM，形成良性循环，使得结果越来越好 [6] - 智能体系统天然异构利于混用模型，主智能体用LLM，子任务用SLM [5] 作者背景 - SHIZHE DIAO：先后就读于北京师范大学、香港科技大学，曾在UIUC做访问学者，字节AI LAB实习，2024年加入英伟达担任研究科学家 [15][17] - Xin Dong：博士毕业于哈佛大学，曾在腾讯、Meta等公司工作和实习，现为英伟达研究科学家 [20][22][24]