DeepSeek部署与蒸馏模型推理评测
这是国际证券金融工程组研究员胡振扬,那我们这次的这个主题呢就是这个DeepSeq部署以及它真流的模型的推理类评测,主要是来介绍一下怎么样去使用DeepSeq,如何去在本地做一个部署,以及呢我们该怎么样去选择一个适合在本地部署的一个DeepSeq的模型的一个参数版本。 那首先的话呢我们就简单介绍一下怎么样去使用它那当前的话呢我们可能更多的一个方法就是在官网啊去做一个对话框的一个使用那可以是打开它的这个声幕搜索的模式以及可以做一个联网搜索的功能但现在呢由于它的这个服务并不是很稳定其实也有一些第三方的方法啊可以帮助我们很快的去获得它的这么一同样的一个模型的一个版本答案比如说像轨迹流动R6100电海火山引擎 比如说轨迹流动的话它也是与华为云合作在这个华为云上面是部署了相同的这个DeepSeq v3或者R1的一个满血版本的一个模型同时也有这个DeepSeq帧流之后的小模型可以供大家去选择可以我们是直接去网页端在轨迹流动的网页上使用这些模型去做一个对话框的这么一个使用也可以去调整一些像temperature这样的一些参数同时它也提供API这样的一个服务我们可以直接去 通过API形式去做交友那整体上来看的话当前其实比较稳定 ...