另外，"模芯联动"是此次新模型发布的重点，GLM-4.6已在寒武纪国产芯片上实现FP8+Int4混合量化部署，这也是行业首次在国产芯片上投产的FP8+Int4模 型芯片一体解决方案，在保持精度不变的前提下，降低推理成本，为国产芯片在大模型本地化运行上探索可行路径。 FP8是8 位浮点数（Floating-Point 8）数据类型，动态范围广、精度损失小；Int4是4 位整数（Integer 4）数据类型，压缩比极高，内存占用最少，适配低算力 硬件但精度损失相对明显。此次尝试的"FP8+Int4 混合" 模式，并非简单将两种格式叠加，而是根据大模型的"模块功能差异"，针对性分配量化格式，让该 省内存的地方用Int4压到极致，该保精度的地方用FP8守住底线，实现合理资源分配。 具体到模型适配过程中，占总内存的60%-80%的大模型核心参数通过Int4量化后，可将权重体积直接压缩为FP16的1/4，大幅降低芯片显存的占用压力；推理 环节积累的临时对话数据可以通过Int4压缩内存的同时，将精度损失控制在 "轻微"范围。而FP8可重点针对模型中"数值敏感、影响推理准确性"的模块，降 低精度损失、保留精细语义信息。 方案 ...