LLM2D
压缩图像生成与去噪扩散码本模型
Compressed Image Generation with Denoising Diffusion Codebook Models
作者: Guy Ohayon, Hila Manor, Tomer Michaeli, Michael Elad
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.01189v2

摘要

arXiv:2502.01189v2 降噪扩散模型类型:交叉 摘要:我们提出了一种基于去噪扩散模型(DDMs)的新颖生成方法,该方法能够生成高质量的图像样本,同时还提供了其无损压缩的位流表示。通过在逆向扩散过程中用预定义固定iid高斯向量的噪声样本集替换标准的高斯噪声采样来实现这一目标。令人惊讶的是,我们发现称为去噪扩散代码本模型(DDCM)的方法,在极小的代码本中仍然能够保留标准DDM的质量和多样性。我们利用DDCM,并从代码本中选择与给定图像最佳匹配的噪声,将我们的生成模型转换为一种高度有效的失真图像编解码器,实现了目前最先进的人感知图像压缩结果。更广泛地说,通过设置其他噪声选择规则,我们将我们的压缩方法扩展到了任何条件图像生成任务(例如,图像恢复),其中生成的图像及其压缩的位流表示是同时产生的。我们的研究还包括对所提出的压缩条件生成方案的数学解释,建立了与考虑任务中后验采样器的分数逼近之间的联系。