iVPF:数值可逆守恒体积流用于高效无损压缩
本文介绍了使用归一化流实现高效无损压缩的新方法 iFlow, 该方法基于模块化缩放变换提出了一系列数值可逆流变换,同时引入了 Uniform Base Conversion System(UBCS)实现快速均匀分布编码,iFlow 实现了最先进的压缩比,并且比其他高性能方案快 5 倍。
Nov, 2021
本文提出了一种基于流的生成模型称为 “整数离散流”,该模型能够学习在高维数据上的丰富变换,并且能够采用可逆神经网络实现无损压缩,在 CIFAR10、ImageNet32 和 ImageNet64 上实现了最先进的无损压缩率。
May, 2019
本文研究和改进针对无损压缩的整数离散流。我们通过探究离散随机变量的可逆流是否比连续随机变量的更为灵活来开始分析,并通过证明发现此理论不适用于整数离散流。此外,我们研究了整数离散流中的梯度偏差效应,并通过实验证明其对模型的性能影响高度依赖于架构选择并不像先前想象的那样突出。最后,我们展示了不同架构修改如何改进该模型类别的性能并使其更加高效:我们发现具有一半数量流层的模型性能不亚于或者比原始整数离散流模型更好。
Jun, 2020
本文提出了一种基于离散流和整数运算的高效神经压缩器,使用可学习的二进制门来消除推理过程中的冗余滤波器,在 ImageNet32 和 ImageNet64 上保持高压缩比的同时,使用 IODF 在 GPU 上的 TensorRT 实现实现推理速度比现有最快的神经压缩器快 10 倍。
Jun, 2022
本文介绍了一种通过增加数据而扩展中间维度限制的方法 VFlow,提高了生成流模型的表达能力,并在 CIFAR-10 数据集上实现 2.98 bits per dimension 的最新成果。
Feb, 2020
本文提出了一种新的可逆变换类别,并将其应用于基于流的生成模型,提出两种新的耦合层并在数字数据实验中验证,表明这些新的耦合层能够在 Integer Discrete Flows(IDF)中取得比标准耦合层更好的效果,并能导出一些已知的可逆转换。
Nov, 2020
使用实值非体积保持变换的无监督学习算法能够解决机器学习中的概率模型,模型具有可解的学习、采样、推理和评估能力,并且拥有一个可解释的潜在空间,我们在四个数据集上通过采样、对数似然度量和潜在变量操作展示了其建模自然图像的能力。
May, 2016
本文提出了 SurVAE Flows 作为一个模块化的框架来组合深度学习中的生成模型 Normalizing flows 和 Variational autoencoders,通过使用双射变换来建模密度和可逆变换,桥接了两种模型之间的差距,同时介绍了一些通用操作。
Jul, 2020
本文探讨了 normalizing flows 模型在离散分布上的应用,提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型, 并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型,在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。
May, 2019
本文介绍了一种使用正则化流技术的深度图像压缩方法,能够在保证低比特率的情况下实现接近无损的质量,相比传统图像压缩方法有更大范围的质量水平,并能够在多次编码后仍能保持一致的质量结果。此为首次探索正则化流用于有损图像压缩的研究成果。
Aug, 2020