arXiv:2504.19874v1 公告类型: cross 摘要: 作为香农信源编码理论的一个问题，向量量化旨在在最小化几何结构失真的同时对高维欧几里得向量进行量化。我们提出了 TurboQuant 以同时处理均方误差（MSE）和内积失真，克服了现有方法无法达到最优失真率的局限性。我们的数据盲算法适用于在线应用，并在所有位宽和维度下实现了接近最优的失真率（在一个小常数因子内）。TurboQuant 通过随机旋转输入向量，诱导坐标上的集中Beta分布，并借助高维中不同坐标几乎独立的性质，逐个坐标应用最优标量量化器来实现这一目标。由于MSE最优量化器在内积估算中引入了偏差，我们提出了两阶段方法：先应用MSE量化器，再对残差进行1比特量化JL（QJL）变换，从而得到无偏的内积量化器。我们还提供了任何向量量化器所能达到的最佳可实现失真率的信息论下界的形式证明，展示了TurboQuant 接近这些下界，仅相差一个小常数因子（约为2.7）。实验结果验证了我们的理论发现，显示在KV缓存量化中，每通道3.5比特可实现绝对质量中立性，每通道2.5比特则略有质量下降。此外，在最近邻搜索任务中，我们的方法在召回率方面优于现有产品量化技术，同时降低了索引时间至接近零。