Oct, 2023

频率感知变换器用于学习图像压缩

PDF
TL;DR学习图像压缩 (LIC) 已成为近年来在图像存储和传输方面的有效解决方案，然而，现有的 LIC 方法存在潜在的表示冗余问题，限制了其对各向异性频率成分和方向细节的捕捉。为了克服这些挑战，我们提出了一种新颖的频率感知变换器 (FAT) 模块，首次实现了对 LIC 的多尺度方向分析。FAT 模块由频率分解窗口注意力 (FDWA) 模块组成，用于捕捉自然图像的多尺度和方向频率成分。此外，我们引入了频率调制前馈网络 (FMFFN)，以自适应调制不同频率成分，从而改善了速率失真性能。此外，我们还提出了基于变换器的通道级自回归 (T-CA) 模型，有效地利用了通道依赖性。实验证明，与现有的 LIC 方法相比，我们的方法在速率失真性能上达到了最先进的水平，并在 Kodak、Tecnick 和 CLIC 数据集上相对于最新的标准编解码器 VTM-12.1 提高了 14.5%、15.1% 和 13.0% 的 BD - 率。
learned image compressionfrequency-aware transformer blocklatent representationmultiscale directional analysisrate-distortion performance
发现论文，激发创造
  • 基于 Transformer 的图像压缩

    本文提出了一种基于 Transformer 的图像压缩方法（TIC），使用深度神经网络来分析和压缩输入图像，与最先进的基于卷积神经网络和基于人工编码规则压缩算法相比，该方法具有更少的参数个数，达到了同等性能。

    Nov, 2021

  • 混合 Transformer-CNN 结构的学习图像压缩

    本文提出了一种高效的并行 Transformer-CNN 混合块，用于将 CNN 的本地建模能力和 Transformer 的非本地建模能力相结合，以提高图像压缩模型的整体架构，并在熵估计模型和注意力模块方面取得了最新进展，实验结果表明，该方法在三个不同分辨率的数据集上均实现了具有创新性的率失真表现.

    Mar, 2023

  • 利用频率增广变分自编码器进行图像重建

    本文提出了一种用于增强 VQ-VAE 结构的频率补全模块 (Frequency Complement Module, FCM)，并且引入了一种动态频谱损失 (Dynamic Spectrum Loss, DSL)，用于引导 FCM 动态地平衡频率以获得最佳重建。FA-VAE 进一步扩展到了文本到图像合成任务中，并提出了交叉注意力自回归变换器 (Cross-attention Autoregressive Transformer, CAT) 以获得更精确的文本语义属性。通过在几个基准数据集上进行广泛的重建实验，并与其它最先进的方法进行比较，结果表明，所提出的 FA-VAE 能够更忠实地恢复细节。CAT 在图像文本语义对齐方面也显示出了更好的生成质量。

    May, 2023

  • 频率导向变换的端到端优化图像压缩

    基于频率导向变换的端到端图像压缩模型能够提高图像压缩性能并保持语义相容性。

    Jan, 2024

  • 基于过拟合的图像压缩的频率感知再参数化

    通过在频域进行直接优化的离散余弦变换（DCT）卷积核加权求和的重新参数化方法，在低计算成本下，通过与 L1 正则化相结合，实现了显著改善的率失真性能，从而克服了过拟合图像压缩中的权重存储问题和实用性快速收敛困难。

    Oct, 2023

  • SLIC: 基于自适应变换的自我调节学习图像压缩算法，具有大尺度接受域

    提出了一种新的基于动态深度卷积的转换模块，称为 Self-Conditioned Adaptive Transform with Large-Scale Receptive Fields for Learned Image Compression (SLIC)，它在图像压缩中取得了令人瞩目的性能表现，可将可压缩性降低 6.35%。

    Apr, 2023

  • 一种针对音频信号处理的内容自适应可学习时频表示

    本文提出了可学习的自适应内容前端用于音频信号处理，通过卷积神经网络学习基础函数和权重优化特定任务，同时提出了一种计算内容自适应可学习时频表示的方法，实现了学习有限冲激响应滤波器组，并根据输入信号的内容通过最优滤波器组传递输出信号。

    Mar, 2023

  • 从调制角度看学习图像压缩中的转变

    本文提出了一种基于调制视角的学习图像压缩 (LIC) 的统一变换方法，将量化视为具有加性均匀噪声的广义通道，从通信系统的角度阐释了 LIC 的设计，并通过信号调制 (TSM) 定义了一种统一变换方法，通过实验结果验证了该方法的有效性和鲁棒性。

    Mar, 2022

  • 在频域中高效地学习算子

    本文介绍一种基于单个信号变换的频域学习模型，通过方差保持初始化方法和频率选择技术，可以简化模型设计，从而在各种动态系统的学习中获得更高的测试性能和更少的计算成本。

    Nov, 2022

  • 神经图像压缩中的频率分离特征

    基于特征级频率分离和基于 Transformer 的分析 / 合成变换的增强自注意力计算的神经图像压缩网络，不仅优于手工编码的编解码器，还优于基于神经网络的编解码器。

    Aug, 2023