ECCVDec, 2022

神经图像压缩的内容自适应潜变量与解码器

PDF
TL;DR本文提供了一种改进的神经图像压缩算法框架，该框架包括两种内容自适应的新方法：对潜变量进行自适应通道剪枝以及通过特征变换提高解码器端的内容自适应性，实现了最先进的性能表现。
neural image compressioncontent adaptabilitylatentsdecoderstate-of-the-art performance
发现论文，激发创造
  • 针对神经图像压缩的内容自适应优化

    本研究探讨了内容自适应优化对神经图像压缩表现的影响，介绍了一种迭代过程，该过程使得潜在表示适应特定内容，同时保持网络和预测模型的参数固定。实验结果表明，与特定结构的模型相比，这种方法能够增加速率 - 失真性能，同时不需要额外传输模型参数更新数据，可用于改进预先训练的网络在不同视觉外观或分辨率的不同内容上的表现。

    Jun, 2019

  • 神经图形纹理压缩支持随机访问

    通过将传统 GPU 纹理表示和神经图像压缩技术相结合，我们提出了一种新的纹理集压缩方法，该方法利用卷积编码器捕捉细节信息并采用完全连接网络进行解码，实现了对多通道纹理集的随机访问和支持多分辨率重建。实验结果表明，与传统纹理压缩方法和最新的神经网络方法相比，这种方法获得了更好的结果。

    May, 2024

  • 联合分层先验与自适应空间分辨率用于高效神经图像压缩

    该研究提出了一种改进的变压器 (Transformers) 自回归先验模型及 ConvNeXt-based 预 / 后处理器，并将其应用于图像压缩，提高了压缩效率和解码复杂度的权衡。

    Jul, 2023

  • 非局部关注优化的深度图像压缩

    本文提出了一种基于自动编码器的新型非局部注意力优化深度图像压缩（NLAIC）框架，该框架将非局部操作嵌入编码器和解码器中，以捕捉局部和全局关联，并应用注意机制生成用于加权图像和超先验特征的掩码，从而根据其重要性隐含地适应不同特征的比特分配。此外，超先验和潜在特征的空间 - 通道邻居被用来改进熵编码。该模型在 Kodak 数据集上的性能优于现有的图像压缩方法，包括基于学习的（例如 Balle2019，Balle2018）和传统的（例如 BPG，JPEG2000，JPEG）图像压缩方法，无论是 PSNR 还是 MS-SSIM 畸变度量。

    Apr, 2019

  • 通用神经图像压缩的动态低秩实例适应

    通过低秩适应方法和动态适应网络，提出的神经图像压缩方法能够显著减小域差，并在多种图像压缩结构中普遍提升压缩效果。

    Aug, 2023

  • 灵活神经图像压缩的稳健过拟合潜在特征

    神经图像压缩可以通过使用变分自动编码器和随机 Gumbel 退火来优化编码器和解码器容量，从而提高压缩性能。

    Jan, 2024

  • 通过可调变换将学得图像编解码器适应屏幕内容

    通过引入参数化和可逆的线性变换，我们的研究提出了一种方法来改善针对屏幕内容图像的学习图像编解码器（LICs）的编码效率，并在不改变基线编解码器操作流的情况下设计了两个神经网络作为预处理器和后处理器，从而帮助增加编码效率并减少编码的伪影。我们的端到端训练方法在屏幕内容图像压缩中相比基线的 LICs 实现了高达 10% 的比特率节省，同时只引入了额外的 1% 参数。

    Feb, 2024

  • 利用平铺深度网络的空间自适应图像压缩

    用基于深度神经网络的质量敏感位速率自适应算法取代传统神经网络的定长空间位速率压缩算法，通过切块神经网络结构实现空间上下文预测，最终量化定量（PSNR）与定性（主观评估）评价得分优于其他基准模型。

    Feb, 2018

  • 基于群体感知的内容自适应神经网络视频压缩的参数高效更新

    通过采用分组感知的参数高效更新（GPU）技术和轻量级适配器，该研究论文提出了一种适应内容的神经视频压缩方法，以提高适应性和压缩效率。实验证明该方法在四个视频基准测试和一个医学图像基准测试中展现出卓越的视频压缩效率。

    May, 2024

  • 图像压缩的多尺度增强归一化流

    本文旨在提出一种创新的概念，将分层潜空间应用于增强式归一化流，建立可逆的潜变量模型，以解决许多学习型图像压缩方法的非可逆性问题。经过实验表明，本模型相较于单尺度模型，平均压缩率提高了 7% 以上。

    May, 2023