May, 2024

控制速率、失真和逼真度：走向一个全面的神经图像压缩模型

PDF
TL;DR近年来，神经网络驱动的图像压缩（NIC）方法备受关注。本文提出了一种可变比率的生成式 NIC 模型，通过多种鉴别器设计和引入新的对抗损失，结合新提出的多真实感技术，用户能够通过单一模型灵活地调整比特率、失真和真实感，实现了极高的可控性并覆盖宽范围的比特率。与已有可变比率生成式 NIC 模型不同的是，本方法在只使用一个模型的情况下，达到或超过最先进的单比率生成式 NIC 模型的性能。
neural network-driven image compressiongenerative nic modelvariable-rate approachadversarial lossultra-controllability
发现论文，激发创造
  • 带有条件生成器的多现实图像压缩

    通过优化失真、真实感和压缩率之间的平衡，生成式压缩方法可以在低比特率下产生详细，逼真的图像。本文提出了一种新方法，训练了一个解码器，能够在失真 - 真实感平衡中生成高质量的实际效果，创造了最新的 state-of-the-art 技术水平。

    Dec, 2022

  • 高保真生成图像压缩

    本文研究了如何将生成敌对网络与学习压缩相结合，得到一种最先进的生成有损压缩系统，并在归一化层、生成器和鉴别器架构、训练策略以及感知损失方面进行了探究。与之前的工作不同的是，我们实现了在广泛的比特率范围内视觉上令人满意的重建，并且，我们的方法可以应用于高分辨率图像。我们在定量上使用各种感知指标和用户研究来评估我们的方法，研究表明，即使使用超过 2 倍的比特率，我们的方法也优于以前的方法。

    Jun, 2020

  • 推动神经图像压缩的速率失真计算前沿

    通过我们的速率 - 失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和 RD 性能之间具有最佳的实证权衡。

    Sep, 2023

  • 一次性可控生成图像压缩与动态粒度适应

    提出了一种可控生成图像压缩框架 (Control-GIC)，首次实现了在广泛频谱范围内的精细比特率调整，确保高保真度和通用性压缩。基于 VQGAN 框架，将图像表示为可变长度代码的序列，通过与局部图像块的信息密度相关联，实现了动态调整代码数量的不同粒度决策，进而实现了理想的压缩速率。实验结果表明，Control-GIC 在高度灵活和可控比特率适应性方面表现出优越性能。

    Jun, 2024

  • 具备保真度可控的极端图像压缩技术：生成式对抗网络

    一种基于 GAN 的图像压缩方法，通过采用两阶段的训练和网络插值技术，在极低比特率下重构高质量图像，可以平衡感知质量和保真度之间的权衡且优于现有的基于 GAN 的图像压缩模型。

    Aug, 2020

  • 可变速率图像压缩中的潜在表征选择性压缩学习

    本文提出了一种选择性压缩方法来进行基于深度学习的可变速率图像压缩，该方法通过生成 3D 重要性映射并调整该映射来确定不同目标质量水平的压缩所需的基本表示元素。实验结果表明，该方法可以获得与单独训练的参考压缩模型相当的压缩效率，并可以减少解码时间。

    Nov, 2022

  • 神经图像压缩中的速率 - 失真 - 复杂性优化探索

    本文通过量化解码复杂度作为优化目标，系统研究了神经图像编解码器的速率 - 失真 - 复杂度（RDC）优化，并设计了一个可变复杂度的神经编解码器，支持精细的复杂度调整，展示了 RDC 优化在神经图像编解码器中的可行性和灵活性。

    May, 2023

  • 神经图像压缩：泛化、鲁棒性和频谱偏差

    本文提供了一种综合测试套件，用于评估图像压缩方法的视角外 (OOD) 性能，并提出了基于频谱的检查工具，揭示了压缩方法的错误并深入探讨了它们以及数据的频谱特性对 OOD 性能的依赖性。

    Jul, 2023

  • 神经图形纹理压缩支持随机访问

    通过将传统 GPU 纹理表示和神经图像压缩技术相结合，我们提出了一种新的纹理集压缩方法，该方法利用卷积编码器捕捉细节信息并采用完全连接网络进行解码，实现了对多通道纹理集的随机访问和支持多分辨率重建。实验结果表明，与传统纹理压缩方法和最新的神经网络方法相比，这种方法获得了更好的结果。

    May, 2024

  • 计算效率高的神经图像压缩

    通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

    Dec, 2019