Fairy2i团队 投稿 量子位 | 公众号 QbitAI 无需重新训练，模型压缩实现 2比特媲美FP16 。 近日，北京大学团队提出一个直接基于已有预训练模型进行极低比特量化的通用框架—— Fairy2i 。 该框架通过广泛线性表示将实数模型无损转换为复数形式，再结合相位感知量化与递归残差量化，实现了在仅2比特的情况下，性能接近全精 度模型的突破性进展。 下面是更多详细内容。 研究核心：复用真值权重与递归残差量化 众所周知，大模型在推理时，通常因其庞大的参数存储和计算需求，难以在手机、汽车等边缘设备上高效部署。 传统的量化方法在将模型压缩到极低比特 （如1-2比特） 时，常面临性能严重下降的问题，尤其是在直接复用预训练模型的情况下，难以在 压缩和精度之间找到平衡。 Fairy2i针对性地解决了这一痛点，具体表现在： 1、广义线性表示：低成本无损继承，打通实数与复数桥梁 在"架构"上，Fairy2i通过解决实数模型如何"变身"复数模型的问题，极大地降低了训练所需的成本。 不同于iFairy等需要花费高昂算力从头预训练 （Pre-training from scratch） 的方式， Fairy2i选择了一条更 ...