iFairy团队 投稿 量子位 | 公众号 QbitAI 首个复数大模型！北大提出2比特超低比特量化算法。 现如今，大模型在推理时通常都非常耗存储和计算，这是因为权重采用FP16存储，占用空间大。 北大团队首次提出 iFairy方案 ，把模型权重量化到复数集合 {+1, -1, +i, -i}。 这四个值刚好可以用2比特表示，相当于压缩到原本的1/8。 推理时，复数与{±1，±i}相乘，不需要真正做乘法，只需加减或交换数据位置，计算成本更低。 研究团队还将整个Transformer架构都进行了"复数化"改造。 结果显示，iFairy模型取得了比全精度（FP16）LLaMA基座模型更低的困惑度（PPL），降幅高达10%，语言建模能力和下游任务表现反超 其全精度的LLaMA基座模型，让GPT-5这样的大模型也有在手机上运行的可能。 | Size | Model | | Quant Wiki2 C4 C4 AvgJ | | | --- | --- | --- | --- | --- | | 700M | FP16 LLaMA | No | | 12.33 | | | iFairyº (Ours) | No | 9. ...