ICMLJun, 2022

使用仅限整数离散流的快速无损神经压缩

PDF
TL;DR本文提出了一种基于离散流和整数运算的高效神经压缩器，使用可学习的二进制门来消除推理过程中的冗余滤波器，在 ImageNet32 和 ImageNet64 上保持高压缩比的同时，使用 IODF 在 GPU 上的 TensorRT 实现实现推理速度比现有最快的神经压缩器快 10 倍。
neural compressorsentropy codecsdiscrete flowsinteger-only arithmeticinference latency
发现论文，激发创造
  • 整数离散流与无损压缩

    本文提出了一种基于流的生成模型称为 “整数离散流”，该模型能够学习在高维数据上的丰富变换，并且能够采用可逆神经网络实现无损压缩，在 CIFAR10、ImageNet32 和 ImageNet64 上实现了最先进的无损压缩率。

    May, 2019

  • IDF++：整数离散流的分析与改进以实现无损压缩

    本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析，并通过证明发现此理论不适用于整数离散流。此外，我们研究了整数离散流中的梯度偏差效应，并通过实验证明其对模型的性能影响高度依赖于架构选择并不像先前想象的那样突出。最后，我们展示了不同架构修改如何改进该模型类别的性能并使其更加高效：我们发现具有一半数量流层的模型性能不亚于或者比原始整数离散流模型更好。

    Jun, 2020

  • iFlow: 通过统一编码器实现数值反转流的高效无损压缩

    本文介绍了使用归一化流实现高效无损压缩的新方法 iFlow, 该方法基于模块化缩放变换提出了一系列数值可逆流变换，同时引入了 Uniform Base Conversion System（UBCS）实现快速均匀分布编码，iFlow 实现了最先进的压缩比，并且比其他高性能方案快 5 倍。

    Nov, 2021

  • 离散去噪流

    本研究提出了离散去噪流模型（Discrete Denoising Flows, DDFs），用于建模离散的随机变量，并证明在对数似然度量中，在建模玩具示例，二进制 MNIST 和 Cityscapes 分割地图方面，DDFs 优于 Discrete Flows。

    Jul, 2021

  • 基于归一化流的有损图像压缩

    本文介绍了一种使用正则化流技术的深度图像压缩方法，能够在保证低比特率的情况下实现接近无损的质量，相比传统图像压缩方法有更大范围的质量水平，并能够在多次编码后仍能保持一致的质量结果。此为首次探索正则化流用于有损图像压缩的研究成果。

    Aug, 2020

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

    Dec, 2017

  • 神经图像压缩的带宽有效推理

    我们提出了一种端到端可微分的带宽高效神经推理方法，通过神经数据压缩方法对激活进行压缩，可实现高达 19 倍的带宽减少和 6.21 倍的能量节省。

    Sep, 2023

  • 高斯扩散下的有损压缩

    本研究提出了一种基于无条件扩散生成模型的新型有损压缩方法 DiffC，该方法仅利用受高斯噪声污染的像素的有效通信来限制所需传输信息，具有压缩比 HiFiC 更高的性能表现，并提供流式解码支持，并进一步分析了其性能和一些理论界限。

    Jun, 2022

  • 推动神经图像压缩的速率失真计算前沿

    通过我们的速率 - 失真计算（RDC）研究，我们展示了虽然浮点运算（FLOPs）和运行时间对于准确地比较神经压缩方法都是不足够的，但我们还是找到了一种新型神经压缩架构，其在计算要求和 RD 性能之间具有最佳的实证权衡。

    Sep, 2023

  • iVPF：数值可逆守恒体积流用于高效无损压缩

    本文研究体积保持流用于无损压缩，并提出了数值可逆体积保持流 (iVPF)。实验结果表明，基于 iVPF 的算法在轻量级压缩算法中达到了业内领先的压缩比

    Mar, 2021