arXiv:2502.13179v1 类别: cross 摘要: 面对极低比特(低于2比特)量化，大型语言模型（LLMs）表现严重下降。现有的极低比特后训练量化（PTQ）方法通过利用无结构的细粒度掩码来混用精度方案，以明确区分显着权重，但每权重引入了额外的1比特或多比特。为了探索PTQ的实际极限，我们提出了一种称为PTQ1.61的极低比特PTQ方法，使其能够将权重量化至1.61比特，这是首次实现。具体而言，我们首先从减少量化误差上界的角度出发，引入了一维结构化掩码，并基于输入激活图以每权重可忽略不计的额外0.0002比特为基础，将相应的显着权重通道分配给4比特。对于非显着通道的二值化，我们提出了一个高效的块级缩放因子优化框架，以考虑隐式的行间相关性和角度偏差。不同于以往工作主要集中在调整量化方法上，我们进一步提出了一个名为量化预处理的新范式，我们认为在量化之前转换预训练模型的权重分布可以缓解每通道极低比特PTQ的困难。大量实验表明，我们的PTQ1.61在极低比特量化方面达到了最先进的性能。代码可从https://github.com/zjq0455/PTQ1.61获取。