利用扩散模型在图像压缩领域具有潜力,能够在极低码率下产生逼真且详细的重建结果。本研究提出了一种将扩散用于去除量化误差,以恢复传输图像潜在信息的去噪方法,相较于之前的方法,我们的方案只需要进行不到 10% 的扩散生成过程,并且无需对扩散模型进行架构更改,能够有效利用基础模型作为强大的先验,并在定量写实度指标上优于之前的方法,同时经验证明我们的重建结果在质量上也得到了最终用户的认可,并且即使其他方法使用两倍的比特率,我们的方案依然具备优势。
Apr, 2024
通过使用条件扩散模型,本文展示了它作为解码器时在生成式压缩任务中的良好结果,同时通过采样方法,它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。
Mar, 2024
使用扩散模型的预测能力,在解码器中将多个神经压缩帧转换为连续的视频帧,以实现极端视频压缩,同时考虑感知质量指标,从低比特率下的位每像素(bpp)为 0.02 开始实现视觉上令人满意的重构,结果表明该方案比 H.264 和 H.265 等标准编解码器在低比特率领域具有更好的效果。
Feb, 2024
本文通过使用扩散生成模型,将自编码器与基于分数的解码器相结合的简单但理论上有动机的两阶段方法,实现了在给定比特率时提高视觉质量,并在 FID 分数上跑赢了最先进的方法 PO-ELIC 和 HiFiC。
May, 2023
本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型,提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练,获得了最佳结果;此外,我们的模型自然地采用渐进式有损解压缩方案,可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上,我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上,我们获得了与 ProgressiveGAN 相似的样本质量。
Jun, 2020
本文提出并研究了分布保持有损压缩问题,旨在优化速率失真间的平衡,使重建样本符合训练数据的分布,并通过采用 Wasserstein GAN 和 Wasserstein 自编码器的组合等方法,进行了理论和实证分析。
May, 2018
本文研究了如何将生成敌对网络与学习压缩相结合,得到一种最先进的生成有损压缩系统,并在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面进行了探究。与之前的工作不同的是,我们实现了在广泛的比特率范围内视觉上令人满意的重建,并且,我们的方法可以应用于高分辨率图像。我们在定量上使用各种感知指标和用户研究来评估我们的方法,研究表明,即使使用超过 2 倍的比特率,我们的方法也优于以前的方法。
提出了一种新颖的极端图像压缩框架,该框架将压缩 VAEs 和预训练的文本到图像扩散模型结合在一起,通过潜在特征引导压缩模块进行图像压缩并解码为内容变量,然后利用预训练的扩散模型进一步解码这些内容变量,实验结果表明在极低比特率下,该方法在视觉表现和图像保真度方面优于现有方法。
我们提出了一种使用非各向同性扩散模型的图像压缩框架,该模型在解码器端引入了一种感知偏差,以生成高质量图像。此外,我们还使用了一种新颖的熵模型来准确建模潜在表示的概率分布,并利用潜在空间中的空间通道相关性来加速熵解码。实验证明,我们的框架在感知质量上优于现有的生成模型编解码器,并且所提出的熵模型能够实现显著的比特率节省。
本文介绍了一种基于扩散模型的图像压缩方法,它利用特权的端到端解码器模型进行校正,实现了更好的感知质量同时在一定程度上保证了失真。通过建立扩散模型和设计一种将扩散模型与端到端解码器相结合的新方法,我们在理论上分析了编码器端扩散模型的重构过程,并引入了端到端卷积解码器来提供编码器端评分函数近似值的更好传输。实验证明,与以前的感知压缩方法相比,我们的方法在失真和感知方面具有优势。