Sep, 2023

推动神经图像压缩的速率失真计算前沿

PDF
TL;DR通过我们的速率 - 失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和 RD 性能之间具有最佳的实证权衡。
neural image compression modelsrate-distortion performancebenchmarking platformsmodel architecturesneural compression architecture
发现论文，激发创造
  • 神经图像压缩中的速率 - 失真 - 复杂性优化探索

    本文通过量化解码复杂度作为优化目标，系统研究了神经图像编解码器的速率 - 失真 - 复杂度（RDC）优化，并设计了一个可变复杂度的神经编解码器，支持精细的复杂度调整，展示了 RDC 优化在神经图像编解码器中的可行性和灵活性。

    May, 2023

  • 计算效率高的神经图像压缩

    通过自动网络优化技术减少神经图像压缩中解码器的计算复杂度，探索码率失真性能和运行时间性能之间的平衡，提高图像压缩的计算效率。

    Dec, 2019

  • 一种用于有损图像压缩的速率失真分类方法

    在有损图像压缩中，我们提出了一种 Rate-Distortion-Classification (RDC) 模型，用于优化速率、失真和分类准确性之间的权衡，从而将图像压缩与视觉分析相结合，为实际应用中的端到端图像压缩技术铺平了道路。

    May, 2024

  • 模型压缩的失真率研究：从理论到实践

    本文研究深度神经网络模型压缩技术，提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术，理论上证明了该架构对于一层 ReLU 神经网络最优，实验证明该方法在压缩 - 精度平衡上显著优于基线方法。

    Oct, 2018

  • 控制速率、失真和逼真度：走向一个全面的神经图像压缩模型

    近年来，神经网络驱动的图像压缩（NIC）方法备受关注。本文提出了一种可变比率的生成式 NIC 模型，通过多种鉴别器设计和引入新的对抗损失，结合新提出的多真实感技术，用户能够通过单一模型灵活地调整比特率、失真和真实感，实现了极高的可控性并覆盖宽范围的比特率。与已有可变比率生成式 NIC 模型不同的是，本方法在只使用一个模型的情况下，达到或超过最先进的单比率生成式 NIC 模型的性能。

    May, 2024

  • C3: 单图像或视频的高性能低复杂度神经压缩

    C3 是一种神经压缩方法，通过对每个图像或视频进行过度拟合从而获得强大的率失真性能，其解码复杂度与其他具有相似率失真性能的神经模型相比可降低一个数量级。C3 在 COOL-CHIC 的基础上进行改进，并且还开发了将 C3 应用于视频的新方法。在 CLIC2020 图像基准测试中，我们将 C3 解码的每个像素的 MAC 数减少到不足 3k，与 H.266 编解码器的 VDH 性能相当。在 UVG 视频基准测试中，我们将 C3 解码的每个像素的 MAC 数减少到不足 5k，与 Video Compression Transformer 的 VDH 性能相当。

    Dec, 2023

  • 过拟合之乐：实例自适应数据压缩

    本文介绍一种基于自动编码器和潜变量表示的神经压缩方法，并探讨了在训练后适应单个视频、发送模型更新以及重新调整参数等方面的改进措施。结果表明，相较于仅调整编码器的方式，对整个模型进行调整可以提高图像在视频中的压缩性能约 1 dB。

    Jan, 2021

  • 通用神经图像压缩的动态低秩实例适应

    通过低秩适应方法和动态适应网络，提出的神经图像压缩方法能够显著减小域差，并在多种图像压缩结构中普遍提升压缩效果。

    Aug, 2023

  • EVC：基于 Mask Decay 的实时神经图像压缩

    本文提出了一种高效的单模型可变位率编解码器，采用 mask decay 和稀疏正则化损失，大幅提升了神经图像压缩的 RD 性能，并通过可扩展编码器进一步减少编解码器复杂度。

    Feb, 2023

  • 利用格码变换在神经压缩中接近速率失真限制

    深度学习压缩方法中，通过在潜变量空间中使用晶格量化而非标量量化能够实现对向量量化的最优恢复，提高了一次性编码性能和块编码效果。

    Mar, 2024