腾讯混元开源“极小”模型,实际存储仅占用600MB

公司技术发布 - 腾讯混元于2月10日开源了面向消费级硬件场景的“极小”模型HY-1.8B-2Bit [1] - 该模型基于1.8B参数的小尺寸模型,通过2Bit量化技术,等效参数量约为0.3B,实际存储占用仅约600MB [1] - 模型大小减少至原始精度模型的1/6,在真实端侧设备上生成速度提升2-3倍 [1] - 模型保留了原版的思维链能力,可为不同复杂度任务提供相应深度的推理过程 [1] - 这是业界首个实现2bit产业级量化的端侧模型实践 [1] - 模型已在开源模型社区Huggingface和Github上线 [1] 行业趋势与需求 - 随着大语言模型普及,如何将模型在手机、耳机或智能家居等设备上应用成为业界难题 [1] - 许多应用对模型的离线部署、私密性有更高需求,需要更多能够在端侧运行的又小又强的模型 [1]

腾讯混元开源“极小”模型,实际存储仅占用600MB - Reportify