Dec, 2023

C3: 单图像或视频的高性能低复杂度神经压缩

PDF
TL;DRC3 是一种神经压缩方法，通过对每个图像或视频进行过度拟合从而获得强大的率失真性能，其解码复杂度与其他具有相似率失真性能的神经模型相比可降低一个数量级。C3 在 COOL-CHIC 的基础上进行改进，并且还开发了将 C3 应用于视频的新方法。在 CLIC2020 图像基准测试中，我们将 C3 解码的每个像素的 MAC 数减少到不足 3k，与 H.266 编解码器的 VDH 性能相当。在 UVG 视频基准测试中，我们将 C3 解码的每个像素的 MAC 数减少到不足 5k，与 Video Compression Transformer 的 VDH 性能相当。
neural compressionc3rate-distortion performancedecoding complexityimage benchmark
发现论文，激发创造
  • 神经图像压缩中的速率 - 失真 - 复杂性优化探索

    本文通过量化解码复杂度作为优化目标，系统研究了神经图像编解码器的速率 - 失真 - 复杂度（RDC）优化，并设计了一个可变复杂度的神经编解码器，支持精细的复杂度调整，展示了 RDC 优化在神经图像编解码器中的可行性和灵活性。

    May, 2023

  • 推动神经图像压缩的速率失真计算前沿

    通过我们的速率 - 失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和 RD 性能之间具有最佳的实证权衡。

    Sep, 2023

  • EVC：基于 Mask Decay 的实时神经图像压缩

    本文提出了一种高效的单模型可变位率编解码器，采用 mask decay 和稀疏正则化损失，大幅提升了神经图像压缩的 RD 性能，并通过可扩展编码器进一步减少编解码器复杂度。

    Feb, 2023

  • 端到端可学习的多尺度特征压缩技术适用于视觉编码器

    提出了一种新颖的多尺度特征压缩方法，并结合可学习的压缩器和多尺度特征融合网络实现端到端的优化，以及轻型编码器的设计。该方法在对象检测中取得了着眼的性能提升，并且在仅保留 0.002-0.003% 未压缩特征数据量的情况下，仍可以实现接近无损的性能。

    Jun, 2023

  • 实用全分辨率学习无损图像压缩

    我们提出了第一个实用的学习无损图像压缩系统 L3C，它在压缩方面优于流行的人工编码器 PNG、WebP 和 JPEG 2000。L3C 的核心是一种可完全并行化的分层自适应熵编码概率模型，该模型针对压缩任务进行了端到端的优化。与最近的自回归离散概率模型（如 PixelCNN）相比，我们的方法将图像分布与学习的辅助表示一起建模，而不是仅在 RGB 空间中建模图像分布，并且只需要三个前向传递来预测所有像素的概率，而不是为每个像素分别预测一个。此外，我们发现学习辅助表示至关重要，而且显著优于预定义的辅助表示，如 RGB 金字塔。

    Nov, 2018

  • 计算效率高的神经图像压缩

    通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

    Dec, 2019

  • 高效的学习图片压缩的 Corner-to-Center 长距离上下文模型

    在学习图像压缩框架中，上下文模型在捕捉潜在表示之间的依赖关系方面起到关键作用。为了减少串行自回归上下文模型导致的解码时间，提出了并行上下文模型作为一种替代方法，在解码阶段只需要两个传递，从而方便实现真实场景中的高效图像压缩。然而，由于其不完整的因果上下文，会导致性能下降。针对这个问题，我们对现有的并行上下文模型中观察到的性能下降进行了深入分析，着重从信息的数量和质量两个方面进行研究。基于此分析，我们提出了基于角到中心的变压器上下文模型 (C^3M)，旨在增强上下文和潜在预测，并提高速率 - 失真性能。具体来说，我们利用基于对数的预测顺序，逐步从角到中心预测更多的上下文特征。此外，为了扩大分析和合成变换中的感受野，我们在编码器 / 解码器中使用了长程交叉注意力模块 (LCAM)，通过在不同通道中分配不同的窗口形状来捕捉远程语义信息。广泛的实验评估表明，所提出的方法是有效的，并且优于最先进的并行方法。最后，根据主观分析，我们建议在基于变压器的图像压缩中改进细节表示是一个值得探索的方向。

    Nov, 2023

  • 冷酷时尚的视频：以 800 个参数进行学习式视频编码

    我们提出了一种轻量级的学习视频编解码器，每个解码像素只需要 900 个乘法和 800 个总参数。它结合了过拟合的图像编解码器 Cool-chic，并通过一个间接编码模块来利用视频的时间冗余。该模型能够以低延迟和随机访问配置压缩视频，达到接近 AVC 的速率失真，并超越其他过拟合编解码器如 FFNeRV。该系统已开源：orange-opensource.github.io/Cool-Chic。

    Feb, 2024

  • 过拟合之乐：实例自适应数据压缩

    本文介绍一种基于自动编码器和潜变量表示的神经压缩方法，并探讨了在训练后适应单个视频、发送模型更新以及重新调整参数等方面的改进措施。结果表明，相较于仅调整编码器的方式，对整个模型进行调整可以提高图像在视频中的压缩性能约 1 dB。

    Jan, 2021

  • 高效深度图像压缩的统一端到端框架

    该研究提出了一种基于三种新技术的统一框架，包括通道关注模块、高斯混合模型和解码器侧增强模块，命名为 EDIC，可用于基于学习的图像压缩，并说明该方法优于当前所有先进的图像压缩方法，同时将解码速度提高了超过 150 倍。

    Feb, 2020