May, 2023

神经图像压缩中的速率 - 失真 - 复杂性优化探索

PDF
TL;DR本文通过量化解码复杂度作为优化目标，系统研究了神经图像编解码器的速率 - 失真 - 复杂度（RDC）优化，并设计了一个可变复杂度的神经编解码器，支持精细的复杂度调整，展示了 RDC 优化在神经图像编解码器中的可行性和灵活性。
发现论文，激发创造
  • 推动神经图像压缩的速率失真计算前沿

    通过我们的速率 - 失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和 RD 性能之间具有最佳的实证权衡。

    Sep, 2023

  • 一种用于有损图像压缩的速率失真分类方法

    在有损图像压缩中，我们提出了一种 Rate-Distortion-Classification (RDC) 模型，用于优化速率、失真和分类准确性之间的权衡，从而将图像压缩与视觉分析相结合，为实际应用中的端到端图像压缩技术铺平了道路。

    May, 2024

  • 计算效率高的神经图像压缩

    通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

    Dec, 2019

  • EVC：基于 Mask Decay 的实时神经图像压缩

    本文提出了一种高效的单模型可变位率编解码器，采用 mask decay 和稀疏正则化损失，大幅提升了神经图像压缩的 RD 性能，并通过可扩展编码器进一步减少编解码器复杂度。

    Feb, 2023

  • C3: 单图像或视频的高性能低复杂度神经压缩

    C3 是一种神经压缩方法，通过对每个图像或视频进行过度拟合从而获得强大的率失真性能，其解码复杂度与其他具有相似率失真性能的神经模型相比可降低一个数量级。C3 在 COOL-CHIC 的基础上进行改进，并且还开发了将 C3 应用于视频的新方法。在 CLIC2020 图像基准测试中，我们将 C3 解码的每个像素的 MAC 数减少到不足 3k，与 H.266 编解码器的 VDH 性能相当。在 UVG 视频基准测试中，我们将 C3 解码的每个像素的 MAC 数减少到不足 5k，与 Video Compression Transformer 的 VDH 性能相当。

    Dec, 2023

  • 用于学习图像压缩的通道方向自回归熵模型

    本研究介绍了两种增强技术：通道调节和潜在残差预测，提出了比现有上下文自适应模型更好的网络架构，该模型在最小化串行处理、保持数据完整性等方面都性能更优，在 Kodak 和 Tecnick 图像集上的平均速率提高了 6.7% 和 11.4%。在低比特率下，本研究的模型可使速率提高 18%，比像 BPG 这样的手工工程编解码器提高 25%。

    Jul, 2020

  • 浅层解码器的非对称神经图像压缩

    本文采用浅层甚至线性解码变换的方法来缩短神经图像压缩的解码复杂度，并通过加强编码器网络和迭代编码来提高压缩性能与解码复杂度之间的平衡，从而实现与传统 ME-Scale 超先验结构相当的失真压缩性能，同时将总解码复杂度降低 80％。

    Apr, 2023

  • 控制速率、失真和逼真度：走向一个全面的神经图像压缩模型

    近年来，神经网络驱动的图像压缩（NIC）方法备受关注。本文提出了一种可变比率的生成式 NIC 模型，通过多种鉴别器设计和引入新的对抗损失，结合新提出的多真实感技术，用户能够通过单一模型灵活地调整比特率、失真和真实感，实现了极高的可控性并覆盖宽范围的比特率。与已有可变比率生成式 NIC 模型不同的是，本方法在只使用一个模型的情况下，达到或超过最先进的单比率生成式 NIC 模型的性能。

    May, 2024

  • 通过条件扩散解码器增强学习图像编解码器的速率失真感知灵活性

    通过使用条件扩散模型，本文展示了它作为解码器时在生成式压缩任务中的良好结果，同时通过采样方法，它们还允许在解码器端基于压缩表示创建新的失真和感知之间的权衡点。

    Mar, 2024

  • 过拟合之乐：实例自适应数据压缩

    本文介绍一种基于自动编码器和潜变量表示的神经压缩方法，并探讨了在训练后适应单个视频、发送模型更新以及重新调整参数等方面的改进措施。结果表明，相较于仅调整编码器的方式，对整个模型进行调整可以提高图像在视频中的压缩性能约 1 dB。

    Jan, 2021