专家感知量化：接近Q4质量，仅需接近Q2大小？
通过分析混合专家（MoE）模型，找出特定任务下哪些专家更重要，并对不重要的专家进行更激进的量化。实验结果表明，本地模型在保持接近Q4量化质量的同时，参数量仅接近Q2量化水平。
背景速读
- MoE（混合专家模型）是当前大语言模型（如Mixtral 8x7B）的主流架构，把网络分成多个“专家”子模块，每次推理只激活其中一部分，以提升效率。
- 量化（quantisation）是一种压缩模型的技术，通过降低参数精度（如从4bit降到2bit）来减少内存占用和加速推理，但通常会造成质量损失。Q4和Q2分别代表4bit和2bit量化。
- 这篇博客提出的方法核心是“按任务区分对待”：先分析某个具体任务中每个“专家”的贡献度，然后对不重要的专家做更强的量化（Q2），对重要的专家保留较高精度（Q4），从而在文件大小接近Q2的情况下保持接近Q4的输出质量。
- 这对于在消费级显卡或本地设备上运行大模型尤其实用——用户可以在资源受限的环境下跑更大的模型，同时尽量不牺牲回答质量。
- 作者Martin Alderson是独立研究者，此前发表过关于专家微调和MoE路由的工作；这篇短文更像一个实验报告而非正式论文。