ICLRJun, 2020

IDF++：整数离散流的分析与改进以实现无损压缩

PDF
TL;DR本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析，并通过证明发现此理论不适用于整数离散流。此外，我们研究了整数离散流中的梯度偏差效应，并通过实验证明其对模型的性能影响高度依赖于架构选择并不像先前想象的那样突出。最后，我们展示了不同架构修改如何改进该模型类别的性能并使其更加高效：我们发现具有一半数量流层的模型性能不亚于或者比原始整数离散流模型更好。
integer discrete flowslossless compressionentropy codinggradient biasarchitecture modifications
发现论文，激发创造
  • 整数离散流与无损压缩

    本文提出了一种基于流的生成模型称为 “整数离散流”，该模型能够学习在高维数据上的丰富变换，并且能够采用可逆神经网络实现无损压缩，在 CIFAR10、ImageNet32 和 ImageNet64 上实现了最先进的无损压缩率。

    May, 2019

  • 使用仅限整数离散流的快速无损神经压缩

    本文提出了一种基于离散流和整数运算的高效神经压缩器，使用可学习的二进制门来消除推理过程中的冗余滤波器，在 ImageNet32 和 ImageNet64 上保持高压缩比的同时，使用 IODF 在 GPU 上的 TensorRT 实现实现推理速度比现有最快的神经压缩器快 10 倍。

    Jun, 2022

  • 离散去噪流

    本研究提出了离散去噪流模型（Discrete Denoising Flows, DDFs），用于建模离散的随机变量，并证明在对数似然度量中，在建模玩具示例，二进制 MNIST 和 Cityscapes 分割地图方面，DDFs 优于 Discrete Flows。

    Jul, 2021

  • 离散流：可逆离散数据生成模型

    本文探讨了 normalizing flows 模型在离散分布上的应用，提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型， 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型，在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。

    May, 2019

  • iFlow: 通过统一编码器实现数值反转流的高效无损压缩

    本文介绍了使用归一化流实现高效无损压缩的新方法 iFlow, 该方法基于模块化缩放变换提出了一系列数值可逆流变换，同时引入了 Uniform Base Conversion System（UBCS）实现快速均匀分布编码，iFlow 实现了最先进的压缩比，并且比其他高性能方案快 5 倍。

    Nov, 2021

  • 基于流的生成建模的通用可逆变换

    本文提出了一种新的可逆变换类别，并将其应用于基于流的生成模型，提出两种新的耦合层并在数字数据实验中验证，表明这些新的耦合层能够在 Integer Discrete Flows（IDF）中取得比标准耦合层更好的效果，并能导出一些已知的可逆转换。

    Nov, 2020

  • iVPF：数值可逆守恒体积流用于高效无损压缩

    本文研究体积保持流用于无损压缩，并提出了数值可逆体积保持流 (iVPF)。实验结果表明，基于 iVPF 的算法在轻量级压缩算法中达到了业内领先的压缩比

    Mar, 2021

  • 混合变分流用于离散变量

    开发了一种不需要连续嵌入的离散分布的变分流，称为 MAD Mix，通过测量保持和离散可逆映射来生成离散目标的可靠逼近，并且比连续嵌入的流训练速度显著更快。

    Aug, 2023

  • 基于树形排列的离散树流

    本文提出了一种构建基于决策树的离散流来降低计算负担和消除伪梯度需求的方法，包括定义一种树结构的置换来高效地计算密度值和样本新数据，以及使用新的标准在每个节点上学习树结构和置换，并在多个数据集上通过实验证明了我们方法的可行性。

    Jul, 2022

  • 离散序列的潜在正则化流

    提出了一种基于 VAE 的生成模型，该模型联合训练了基于正则化流的潜在空间分布和到观察到的离散空间的随机映射，解决了直接对离散序列应用正则化流所面临的挑战，并具有可比拟的性能和流灵活性。

    Jan, 2019