May, 2023

基于 Transformer 的变率图像压缩与感兴趣区域控制

PDF
TL;DR本文提出了一种基于 transformer 学习的图像压缩系统，通过使用 prompt generation 网络，支持 RO I 功能，并允许同时实现可变速和 ROI 编码。实验结果表明，该方法优于其他竞争方法。
transformer-basedlearned image compressionroiprompt generation networksvariable-rate
发现论文，激发创造
  • 基于 ROI 的 Swin Transformers 深度图像压缩

    本文提出了一种利用 Swin transformer 作为自编码器网络的主要构建模块，将二进制 ROI 掩模集成到不同层的网络中，以提供空间信息指导。实验结果表明，这种模型在 ROI PSNR 方面优于其他方法，在 COOCO 验证集上具有更好的目标检测和实例分割性能。

    May, 2023

  • 基于 Transformer 的变量图像质量目标图像压缩

    这篇论文介绍了一种基于 Transformer 的图像压缩系统，根据用户的偏好提供可变的图像质量目标，通过引入提示符令牌，使得自适应生成，学习和适应编码和 / 或解码过程的方法，在可变的质量目标下提高了压缩效果。

    Sep, 2023

  • 可变速率图像压缩的视觉提示调优渐进学习

    该研究提出了一种渐进学习范式，用于基于变速器的图像压缩。通过使用层自适应提示模块 (LPM) 提取输入图像和编码器端以及解码器端的隐藏特征的提示信息，并将其作为额外信息输入到预训练的基于变速器的图像压缩模型的 Svin Transformer 层中，从而改变了模型的关注区域和位数的分配，进而改变了模型的目标压缩比。通过与仅优化不同目标比率的多模型方法相比较，详尽实验证明了所提出的方法在参数存储上节约了 80% 的空间，节约了 90% 的数据集。同时，我们的模型在速率失真性能方面胜过了所有当前的可变比特率图像方法，并接近从头开始训练的最先进的固定比特率图像压缩方法。

    Nov, 2023

  • 利用循环神经网络进行可变率图像压缩

    本文提出了一种基于卷积 LSTM 神经网络的可变比率图像压缩框架和架构，可以用于压缩缩略图以改善移动设备用户的体验，经测试在 32×32 的缩略图上，与 JPEG、JPEG2000 和 WebP 相比，我们的方法在相同存储大小下提供更好的视觉质量。

    Nov, 2015

  • 带有条件自编码器的可变率深度图像压缩

    该论文提出了一种基于条件自编码器的新型可变速率学习图像压缩框架，在一个网络中进行可变速率图像压缩，并提供拉格朗日乘子和量化 bin 大小两个速率控制参数，实验结果表明该模型提供了更好的率失真权衡。

    Sep, 2019

  • 可变速率图像压缩中的潜在表征选择性压缩学习

    本文提出了一种选择性压缩方法来进行基于深度学习的可变速率图像压缩，该方法通过生成 3D 重要性映射并调整该映射来确定不同目标质量水平的压缩所需的基本表示元素。实验结果表明，该方法可以获得与单独训练的参考压缩模型相当的压缩效率，并可以减少解码时间。

    Nov, 2022

  • 插值可变速图像压缩

    本研究提出了一种高效的插值可变率（IVR）网络，通过引入 Interpolation Channel Attention（InterpCA）模块来实现可变率控制，实验结果表明 IVR 网络是第一个在 PSNR 和 Multiscale Structural Similarity（MS-SSIM）方面优于 VTM9.0 的可变率学习方法。

    Sep, 2021

  • 通过可逆激活变换实现高保真可变速率图像压缩

    本文通过引入 Invertible Activation Transformation (IAT) 模块来解决图片在多次压缩／解压缩操作下质量下降的问题，实现了更好的维护图片保真度的同时，拥有细粒度的压缩率控制并取得了和目前最好的类似学习方法比较时具有可比较的的速率失真性能。

    Sep, 2022

  • 基于块优化的可变比特率神经图像压缩

    本文介绍了一种基于块的端到端自编码器图像压缩系统，其主要贡献包括模拟二值化、多网络可变比特率、熵友好表示、推理阶段代码优化和性能优化归一化层。我们评估并展示了每个贡献的增量性能提高。

    May, 2018

  • 通过分层感兴趣区域和自适应量化实现超高保真图像压缩

    通过结合 MSE-based 模型和生成模型中感兴趣区域 (ROI) 的优势，我们提出了分层感兴趣区域 (H-ROI) 方法，将图像分为几个前景区域和一个背景区域，以提高包含人脸、文字和复杂纹理的区域的重建效果；进一步，通过通道维度内的非线性映射提出了自适应量化来限制比特率同时保持视觉质量。大量实验证明了我们方法在小脸和文字上以更低的比特率实现了更好的视觉质量，如 HiFiC 的 0.7X 比特和 BPG 的 0.5X 比特。

    Mar, 2024