传统转换理论指导的学习图像压缩模型
提出了基于 Transformer 的非线性变换和包含两个不同超先验的熵模型,通过有效地捕获输入图像的局部和全局信息以及利用远距关系提取长程信息,能够在速率 - 失真性能方面表现优于现有的方法。
Sep, 2023
本文介绍了一种新的统一图像生成 - 压缩(UIGC)范式,该范式将生成和压缩过程合并在一起,通过采用矢量量化图像模型和多阶段 Transformer 来利用空间上下文信息建模先验分布,从而在实现熵估计和丢失令牌再生成方面成功使用学习到的先验,实验结果表明该 UIGC 框架在感知质量和人类感知方面优于现有编解码器,在极低比特率场景下(<=0.03 bpp)开创了生成式压缩的新方向。
Mar, 2024
本文提出了一种基于调制视角的学习图像压缩 (LIC) 的统一变换方法,将量化视为具有加性均匀噪声的广义通道,从通信系统的角度阐释了 LIC 的设计,并通过信号调制 (TSM) 定义了一种统一变换方法,通过实验结果验证了该方法的有效性和鲁棒性。
Mar, 2022
本文提出并研究了分布保持有损压缩问题,旨在优化速率失真间的平衡,使重建样本符合训练数据的分布,并通过采用 Wasserstein GAN 和 Wasserstein 自编码器的组合等方法,进行了理论和实证分析。
May, 2018
描述一种图像压缩方法,其由非线性分析变换、均匀量化器和非线性合成变换构成,并使用卷积线性滤波器和非线性激活函数的三个连续阶段构建变换,其中联合非线性性选择实现形式的局部增益控制,利用随机梯度下降的变体优化整个模型以实现训练图像数据库的速率失真性能,以及一个连续的代理来引入量化器产生的不连续损失函数,具有比标准 JPEG 和 JPEG2000 压缩方法更好的速率失真性能,并且在所有位率下对所有图像的视觉质量均有显著提高。
Nov, 2016
本文研究了如何将生成敌对网络与学习压缩相结合,得到一种最先进的生成有损压缩系统,并在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面进行了探究。与之前的工作不同的是,我们实现了在广泛的比特率范围内视觉上令人满意的重建,并且,我们的方法可以应用于高分辨率图像。我们在定量上使用各种感知指标和用户研究来评估我们的方法,研究表明,即使使用超过 2 倍的比特率,我们的方法也优于以前的方法。
Jun, 2020
本研究基于生成对抗网络构建了一个图像压缩系统,其中包括编码器、解码器 / 生成器和多尺度鉴别器,并使用全生成式学习压缩目标。模型可合成存储受限的细节,实现在比之前方法失败且出现严重伪影的比特率下,较视觉上令人满意的结果。此外,如果有原始图像的语义标签映射可用,则本方法可以从标签映射中合成出解码后图像的不重要区域,例如街道和树,并相应地减少存储成本。一个用户研究证实,即使使用两倍以上的比特,低比特率下我们的方法都优于现有技术。
Apr, 2018
本文提出了一种高效的并行 Transformer-CNN 混合块,用于将 CNN 的本地建模能力和 Transformer 的非本地建模能力相结合,以提高图像压缩模型的整体架构,并在熵估计模型和注意力模块方面取得了最新进展,实验结果表明,该方法在三个不同分辨率的数据集上均实现了具有创新性的率失真表现.
Mar, 2023
本文提出了一种基于 Transformer 的图像压缩方法(TIC),使用深度神经网络来分析和压缩输入图像,与最先进的基于卷积神经网络和基于人工编码规则压缩算法相比,该方法具有更少的参数个数,达到了同等性能。
Nov, 2021