频率导向变换的端到端优化图像压缩
描述一种图像压缩方法,其由非线性分析变换、均匀量化器和非线性合成变换构成,并使用卷积线性滤波器和非线性激活函数的三个连续阶段构建变换,其中联合非线性性选择实现形式的局部增益控制,利用随机梯度下降的变体优化整个模型以实现训练图像数据库的速率失真性能,以及一个连续的代理来引入量化器产生的不连续损失函数,具有比标准 JPEG 和 JPEG2000 压缩方法更好的速率失真性能,并且在所有位率下对所有图像的视觉质量均有显著提高。
Nov, 2016
学习图像压缩 (LIC) 已成为近年来在图像存储和传输方面的有效解决方案,然而,现有的 LIC 方法存在潜在的表示冗余问题,限制了其对各向异性频率成分和方向细节的捕捉。为了克服这些挑战,我们提出了一种新颖的频率感知变换器 (FAT) 模块,首次实现了对 LIC 的多尺度方向分析。FAT 模块由频率分解窗口注意力 (FDWA) 模块组成,用于捕捉自然图像的多尺度和方向频率成分。此外,我们引入了频率调制前馈网络 (FMFFN),以自适应调制不同频率成分,从而改善了速率失真性能。此外,我们还提出了基于变换器的通道级自回归 (T-CA) 模型,有效地利用了通道依赖性。实验证明,与现有的 LIC 方法相比,我们的方法在速率失真性能上达到了最先进的水平,并在 Kodak、Tecnick 和 CLIC 数据集上相对于最新的标准编解码器 VTM-12.1 提高了 14.5%、15.1% 和 13.0% 的 BD - 率。
Oct, 2023
本文提出了基于 Octave 卷积的学习多频图像压缩和熵编码方法,将潜变量分解成高低分辨率分量,并通过新颖的广义 Octave 卷积结构减少了空间冗余,取得了超越标准编解码器与其他学习方法的压缩性能。此外,还演示了广义 Octave 卷积对于计算机视觉任务的性能提升效果。
Feb, 2020
本文提出利用传统变换理论引导的超低比特率增强可逆编码网络,实验表明我们的编码器在压缩和重构性能方面优于现有方法。具体而言,我们引入块离散余弦变换来建模特征的稀疏性,并采用传统的 Haar 变换来提高模型的重构性能而不增加比特流成本。
Feb, 2024
本文介绍一种基于单个信号变换的频域学习模型,通过方差保持初始化方法和频率选择技术,可以简化模型设计,从而在各种动态系统的学习中获得更高的测试性能和更少的计算成本。
Nov, 2022
本文提出了一种基于神经网络的编解码及任务模型的联合训练方法,用于实现远程机器任务分析的图像压缩,研究表明,进行编解码和任务网络的联合优化可以显著提高任务准确性,在训练和部署的限制下,可以选择性地进行编码器、解码器或任务网络的微调,并仍然实现高于现成解决方案的速率和准确度。
Nov, 2020
通过在频域进行直接优化的离散余弦变换(DCT)卷积核加权求和的重新参数化方法,在低计算成本下,通过与 L1 正则化相结合,实现了显著改善的率失真性能,从而克服了过拟合图像压缩中的权重存储问题和实用性快速收敛困难。
Oct, 2023
提出了基于 Transformer 的非线性变换和包含两个不同超先验的熵模型,通过有效地捕获输入图像的局部和全局信息以及利用远距关系提取长程信息,能够在速率 - 失真性能方面表现优于现有的方法。
Sep, 2023