Feb, 2024

通过可调变换将学得图像编解码器适应屏幕内容

PDF
TL;DR通过引入参数化和可逆的线性变换，我们的研究提出了一种方法来改善针对屏幕内容图像的学习图像编解码器（LICs）的编码效率，并在不改变基线编解码器操作流的情况下设计了两个神经网络作为预处理器和后处理器，从而帮助增加编码效率并减少编码的伪影。我们的端到端训练方法在屏幕内容图像压缩中相比基线的 LICs 实现了高达 10% 的比特率节省，同时只引入了额外的 1% 参数。
learned image codecscoding efficiencyscreen content imageslinear transformationscoding artifacts
发现论文，激发创造
  • 混合 Transformer-CNN 结构的学习图像压缩

    本文提出了一种高效的并行 Transformer-CNN 混合块，用于将 CNN 的本地建模能力和 Transformer 的非本地建模能力相结合，以提高图像压缩模型的整体架构，并在熵估计模型和注意力模块方面取得了最新进展，实验结果表明，该方法在三个不同分辨率的数据集上均实现了具有创新性的率失真表现.

    Mar, 2023

  • 学习图像压缩的领域自适应与有监督适配器

    通过在解码器中插入适配器模块，我们解决了将预先训练的模型适应于多个目标领域的问题，并使用门网络从适配器中优化地融合贡献，实现了在目标领域上改进的码率失真和编码效率，同时在源领域上没有额外代价。

    Apr, 2024

  • 可扩展的人机图像编码

    研究了一种可扩展的学习图像编解码器，其潜在空间设计支持从简单到复杂的任务，旨在节省机器视觉任务的比特率，同时在输入重建方面与先进的图像编解码器相当。

    Jul, 2021

  • 神经图像压缩的内容自适应潜变量与解码器

    本文提供了一种改进的神经图像压缩算法框架，该框架包括两种内容自适应的新方法：对潜变量进行自适应通道剪枝以及通过特征变换提高解码器端的内容自适应性，实现了最先进的性能表现。

    Dec, 2022

  • 通过条件扩散解码器增强学习图像编解码器的速率失真感知灵活性

    通过使用条件扩散模型，本文展示了它作为解码器时在生成式压缩任务中的良好结果，同时通过采样方法，它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。

    Mar, 2024

  • 针对神经图像压缩的内容自适应优化

    本研究探讨了内容自适应优化对神经图像压缩表现的影响，介绍了一种迭代过程，该过程使得潜在表示适应特定内容，同时保持网络和预测模型的参数固定。实验结果表明，与特定结构的模型相比，这种方法能够增加速率 - 失真性能，同时不需要额外传输模型参数更新数据，可用于改进预先训练的网络在不同视觉外观或分辨率的不同内容上的表现。

    Jun, 2019

  • 超低比特率下实现完美真实感的图像压缩

    通过使用迭代扩散模型进行解码，同时结合全局文本图像描述来提供额外的上下文，我们的模型在极低比特率下能够重建逼真的图像，其视觉质量不仅与以往方法相媲美，而且对比特率的依赖性更低。

    Oct, 2023

  • PO-ELIC: 感知导向的高效学习图像编码

    PO-ELIC 提出了一种感知导向的高效学习图像编码模型，通过采用对抗性训练技术，包括铰链形式的对抗损失、Charbonnier 式损失和样式损失，进一步提高学习图像压缩技术的感知品质，在更低的比特率下提供了与 HiFiC 相当的感知品质。

    May, 2022

  • 缩小图像编码与人类之间的差距

    图像编码技术旨在降低图像表示所需的比特率，同时最大程度地减少机器视觉分析准确性的下降。本研究提出了一种基于对抗训练的有效解码器微调方案，以显著提高图像编码技术的视觉质量，同时保持机器分析准确性，无需在推理阶段增加额外的比特率或参数。实验结果表明，在忽略任务性能分数相对变化 - 1.6% 的情况下，完全消除了棋盘格伪影。对于一些可容忍某些伪影的情况，例如机器消费是主要目标的情况，该技术可以提高像素保真度和特征保真度分数，同时不影响任务性能。

    Jan, 2024

  • 联合分层先验与自适应空间分辨率用于高效神经图像压缩

    该研究提出了一种改进的变压器 (Transformers) 自回归先验模型及 ConvNeXt-based 预 / 后处理器，并将其应用于图像压缩，提高了压缩效率和解码复杂度的权衡。

    Jul, 2023