CVPRMar, 2024

神经编解码器中基于拉普拉斯的熵模型与模糊扩散合成

PDF
TL;DR我们提出了一种使用非各向同性扩散模型的图像压缩框架，该模型在解码器端引入了一种感知偏差，以生成高质量图像。此外，我们还使用了一种新颖的熵模型来准确建模潜在表示的概率分布，并利用潜在空间中的空间通道相关性来加速熵解码。实验证明，我们的框架在感知质量上优于现有的生成模型编解码器，并且所提出的熵模型能够实现显著的比特率节省。
diffusion modelimage compressionperceptual qualityentropy modeltransformers
发现论文，激发创造
  • 用于学习图像压缩的通道方向自回归熵模型

    本研究介绍了两种增强技术：通道调节和潜在残差预测，提出了比现有上下文自适应模型更好的网络架构，该模型在最小化串行处理、保持数据完整性等方面都性能更优，在 Kodak 和 Tecnick 图像集上的平均速率提高了 6.7% 和 11.4%。在低比特率下，本研究的模型可使速率提高 18%，比像 BPG 这样的手工工程编解码器提高 25%。

    Jul, 2020

  • 学习基于上下文的非局部熵建模用于图像压缩

    本文提出了基于全局相似性的非局部关注块来进行上下文建模，在熵编码中应用该方法，进而在联合速率失真优化中引导分析转换与合成转换网络的训练，并最终使用 U-Net 块增加转换的宽度，从而在 Kodak 和 Tecnick 数据集上实现了超越现有标准与最新深度图像压缩模型的低失真压缩。

    May, 2020

  • 基于因果关系的上下文预测学习图像压缩

    本文提出了一种基于序列解码过程的因果上下文熵预测的概念，以捕捉图像压缩的全局相关性和跨通道关系，同时，采用新的独立注意力模块构建更强的转换网络，实验结果表明，该系统在 Kodak 数据集上的表现优于标准 VVC/H.266 编解码器，达到了最先进的码率失真性能。

    Nov, 2020

  • 混合时空熵建模用于神经网络视频压缩

    本文提出了一种强大的熵模型，能够高效地捕捉视频中的空间和时间依赖关系，使用潜在先验来减少时间冗余，使用双重空间先验来并行地减少空间冗余。此外，该熵模型还具有内容自适应量化机制，有助于编解码器实现平滑的速率调整，并通过动态位分配改善最终的速率失真性能。实验结果表明，使用该熵模型作为支撑，与最高压缩比配置下的 H.266（VTM）相比，我们的神经编解码器可以在 UVG 数据集上实现 18.2% 的比特率节省，这是神经视频编解码器发展的新里程碑。

    Jul, 2022

  • 为低光图像增强提供可微分的空间熵的扩散模型装备

    提出了一种基于统计的熵损失方法，通过引入空间熵，强调对分布而非个别像素值的学习，利用核密度估计以使得熵可微分，并在实验证明了其在低光增强方面的有效性。

    Apr, 2024

  • 多环境双超先验神经图像压缩

    提出了基于 Transformer 的非线性变换和包含两个不同超先验的熵模型，通过有效地捕获输入图像的局部和全局信息以及利用远距关系提取长程信息，能够在速率 - 失真性能方面表现优于现有的方法。

    Sep, 2023

  • 使用扩散模型进行端到端信道编码学习

    通过扩散模型对信道进行近似处理，提出了一个高效的基于扩散模型的端到端信道编码框架，模拟结果表明扩散模型能准确学习信道分布，从而实现接近最优的端到端符号误码率，并具有在高信噪比区域具有稳健的泛化能力的优势。

    Sep, 2023

  • 多尺度和上下文自适应熵模型用于图像压缩

    本文提出了一种端到端可训练的图像压缩框架，采用自回归和分层先验的组合估计每个潜在表示的分布，并使用一种方法将比特率分配到每个图像以最大化 MS-SSIM。

    Oct, 2019

  • 基于图像的局部熵模型的学习图像压缩

    本文介绍了一种通过加入图像依赖的信息来提高基于人工神经网络的图像压缩方法的性能的方法，并在标准评估数据集上实现了 17.8％的速率降低和 70-98％的在视觉复杂性低的图像上的性能提升。

    May, 2018

  • 使用全局参考学习精准熵模型进行图像压缩

    本研究提出了一种新的图像全局参考模型，能够有效利用局部和全局上下文信息，以提高深度图像压缩的性能表现，并且拥有最先进的速率 - 失真性能，同时还新创了一种平均偏移 GDN 模块。

    Oct, 2020