LLM2D
压缩图像生成与去噪扩散码本模型
Compressed Image Generation with Denoising Diffusion Codebook Models
作者: Guy Ohayon, Hila Manor, Tomer Michaeli, Michael Elad
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.01189v1

摘要

arXiv:2502.01189v1 生成类型: cross 摘要: 我们提出了一种基于去噪扩散模型(DDMs)的新型生成方法,该方法生成了高质量的图像样本及其无损压缩的位流表示。这是通过将反向扩散中的标准高斯噪声采样替换为来自预定义的固定iid高斯向量代码本中选择的噪声样本来实现的。令人惊讶的是,我们发现我们的方法(称为去噪扩散代码本模型DDCM)即使对于极其小的代码本也能保持标准DDMs的质量和多样性。我们利用DDCM,并从代码本中选择与给定图像最匹配的噪声,将我们的生成模型转变为一种极其有效的有损图像编解码器,实现了最先进的感知图像压缩结果。更广泛地说,通过设置其他噪声选择规则,我们将我们的压缩方法扩展到任何条件图像生成任务(例如,图像恢复),其中生成的图像与其浓缩的位流表示共同产生。我们的工作还包括对所提出的压缩条件生成方案的数学解释,建立了与所考虑任务中的后验采样器的分数近似之间的联系。