CVPRMar, 2023

混合 Transformer-CNN 结构的学习图像压缩

PDF
TL;DR本文提出了一种高效的并行 Transformer-CNN 混合块，用于将 CNN 的本地建模能力和 Transformer 的非本地建模能力相结合，以提高图像压缩模型的整体架构，并在熵估计模型和注意力模块方面取得了最新进展，实验结果表明，该方法在三个不同分辨率的数据集上均实现了具有创新性的率失真表现.
learned image compressionconvolutional neural networkstransformerentropy estimation modelsswatten modules
发现论文，激发创造
  • 基于 Transformer 的图像压缩

    本文提出了一种基于 Transformer 的图像压缩方法（TIC），使用深度神经网络来分析和压缩输入图像，与最先进的基于卷积神经网络和基于人工编码规则压缩算法相比，该方法具有更少的参数个数，达到了同等性能。

    Nov, 2021

  • 联合分层先验与自适应空间分辨率用于高效神经图像压缩

    该研究提出了一种改进的变压器 (Transformers) 自回归先验模型及 ConvNeXt-based 预 / 后处理器，并将其应用于图像压缩，提高了压缩效率和解码复杂度的权衡。

    Jul, 2023

  • 从调制角度看学习图像压缩中的转变

    本文提出了一种基于调制视角的学习图像压缩 (LIC) 的统一变换方法，将量化视为具有加性均匀噪声的广义通道，从通信系统的角度阐释了 LIC 的设计，并通过信号调制 (TSM) 定义了一种统一变换方法，通过实验结果验证了该方法的有效性和鲁棒性。

    Mar, 2022

  • 多环境双超先验神经图像压缩

    提出了基于 Transformer 的非线性变换和包含两个不同超先验的熵模型，通过有效地捕获输入图像的局部和全局信息以及利用远距关系提取长程信息，能够在速率 - 失真性能方面表现优于现有的方法。

    Sep, 2023

  • AICT：自适应图像压缩变压器

    本文介绍了一种自适应图像压缩变压器 (AICT) 框架，结合了更直接有效的 Transformer-based 通道自回归模型和可学习缩放模块。在基准数据集上的实验结果表明，AICT 框架在编解码效率和解码器复杂度之间的平衡方面显著优于 VVC 参考编码器和神经编解码器 SwinT-ChARM。

    Jul, 2023

  • 联合全局和局部分层先验的学习图像压缩

    通过 attention 机制，我们提出了一种新的信息变换学习熵模型，能更好地处理图像压缩的全局和局部依赖关系，实验证明该模型取得了优于现有技术的率失真性能，并且没有二次计算复杂度问题。

    Dec, 2021

  • 仅使用基于注意力的神经网络进行图像压缩

    本研究探讨了只使用注意力层进行图像压缩的可行性，并在我们的新模型 QPressFormer 中引入了学习的图像查询的概念，通过交叉注意力聚合补丁信息，然后进行量化和编码技术，通过对 Kodak、DIV2K 和 CLIC 数据集进行全面评估，显示了无卷积架构在图像压缩中达到了竞争性的性能。

    Oct, 2023

  • 频率感知变换器用于学习图像压缩

    学习图像压缩 (LIC) 已成为近年来在图像存储和传输方面的有效解决方案，然而，现有的 LIC 方法存在潜在的表示冗余问题，限制了其对各向异性频率成分和方向细节的捕捉。为了克服这些挑战，我们提出了一种新颖的频率感知变换器 (FAT) 模块，首次实现了对 LIC 的多尺度方向分析。FAT 模块由频率分解窗口注意力 (FDWA) 模块组成，用于捕捉自然图像的多尺度和方向频率成分。此外，我们引入了频率调制前馈网络 (FMFFN)，以自适应调制不同频率成分，从而改善了速率失真性能。此外，我们还提出了基于变换器的通道级自回归 (T-CA) 模型，有效地利用了通道依赖性。实验证明，与现有的 LIC 方法相比，我们的方法在速率失真性能上达到了最先进的水平，并在 Kodak、Tecnick 和 CLIC 数据集上相对于最新的标准编解码器 VTM-12.1 提高了 14.5%、15.1% 和 13.0% 的 BD - 率。

    Oct, 2023

  • SLIC: 基于自适应变换的自我调节学习图像压缩算法，具有大尺度接受域

    提出了一种新的基于动态深度卷积的转换模块，称为 Self-Conditioned Adaptive Transform with Large-Scale Receptive Fields for Learned Image Compression (SLIC)，它在图像压缩中取得了令人瞩目的性能表现，可将可压缩性降低 6.35%。

    Apr, 2023

  • 通过可调变换将学得图像编解码器适应屏幕内容

    通过引入参数化和可逆的线性变换，我们的研究提出了一种方法来改善针对屏幕内容图像的学习图像编解码器（LICs）的编码效率，并在不改变基线编解码器操作流的情况下设计了两个神经网络作为预处理器和后处理器，从而帮助增加编码效率并减少编码的伪影。我们的端到端训练方法在屏幕内容图像压缩中相比基线的 LICs 实现了高达 10% 的比特率节省，同时只引入了额外的 1% 参数。

    Feb, 2024