LLM2D
压缩图像生成与去噪扩散码本模型
Compressed Image Generation with Denoising Diffusion Codebook Models
作者: Guy Ohayon, Hila Manor, Tomer Michaeli, Michael Elad
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2502.01189v3

摘要

arXiv:2502.01189v3 宣告类型: replace-cross 摘要:我们提出了一种基于去噪扩散模型(Denoising Diffusion Models, DDMs)的新颖生成方法,该方法能够生成高质量的图像样本及其无损压缩的位流表示。这通过在反向扩散过程中用预定义的固定独立同分布高斯向量编码本中选择的噪声样本替换标准的高斯噪声采样来实现。令人惊讶的是,我们发现我们的方法,称为去噪扩散编码本模型(Denoising Diffusion Codebook Model, DDCM),即使在极小的编码本中也能保留标准DDM的样本质量和多样性。我们利用DDCM,并从编码本中挑选出与给定图像最优匹配的噪声样本,将我们的生成模型转换为一种极其有效的有损图像编解码器,实现最先进的感知图像压缩结果。更广泛地说,通过设定其他噪声选择规则,我们将我们的压缩方法扩展到任何有条件图像生成任务(例如图像恢复),在这种任务中,生成的图像与其紧凑的位流表示同时产生。我们的工作伴随着对提出压缩条件生成方案的数学解释,建立了与所考虑任务中的基于得分的后验采样近似之间的关联。