机器之心原创 作者：张倩 视频中的这个灵巧手是由一个 离线的多模态大模型 驱动 的。虽然模型只有 3B 大小，但部署到端侧后，无论是对话效果还是延迟几乎都可以媲美云端运行的比它 要大得多的模型，而且它还拥有「看、听、想」等多模态能力。 重要的是，它并非基于 Transformer，而是基于 国内 AI 创企 RockAI 提出的非 Transformer 架构 Yan 2.0 Preview 。这个架构极大地降低了模型推理时的计算复杂 度，因此可以在算力非常有限的设备上离线运行，比如树莓派。 而且，和其他在设备端运行的「云端大模型的小参数版本」不同，这个模型拥有一定的 原生记忆能力 ，能够在执行推理任务的同时 把记忆融入自己的参数 。 也就是说，在和其他大模型对话时，你每次打开一个新的窗口，模型都不记得你们之前聊过什么，就像一个每天睡一觉就会把你忘了的朋友，每天都见但每天都 是「初见」。相比之下， 基于 Yan 架构的模型会随着时间推移越来越了解你 ，并基于这些信息去回答你的每一个问题。这是当前大多数基于 Transformer 的云端 大模型都做不到的，更不用提被剪枝、蒸馏等手段破坏了再学习能力的「小模型」 ...