Flow++: 流模型生成模型的变分去量化和架构设计改进

ICMLFeb, 2019

Flow++: Improving Flow-Based Generative Models with Variational Dequantization and Architecture Design

Jonathan Ho, Xi Chen, Aravind Srinivas, Yan Duan, Pieter Abbeel

TL;DR通过改进流媒体生成模型的限定设计选择，包括去量化时使用均匀噪声、使用不可表述的仿射流以及在耦合层中使用纯卷积神经网络，我们提出了一种新的流基模型 Flow ++，它在标准图像基准上是现在最先进的非自回归模型，开始缩小自回归模型和流媒体模型之间显著的性能差距，并提供了代码实现。

Abstract

Flow-based generative models are powerful exact likelihood models with efficient sampling and inference. Despite their computational efficiency,

发现论文，激发创造

本文介绍了一种通过增加数据而扩展中间维度限制的方法 VFlow，提高了生成流模型的表达能力，并在 CIFAR-10 数据集上实现 2.98 bits per dimension 的最新成果。

Feb, 2020

本文介绍了一种新型动态线性流方法（DLF），该方法结合了流式建模的高效性与自回归建模的高密度性能，可用于生成复杂分布，并在 ImageNet 数据集上取得了最新的最佳性能结果。

May, 2019

使用环境流（AmbientFlow）框架，通过变分贝叶斯方法，从噪声和不完整数据中直接学习基于流的生成模型，并通过大量数值研究证明了 AmbientFlow 在正确学习对象分布方面的有效性，并演示了 AmbientFlow 在图像重建的下游推理任务中的实用性。

Sep, 2023

本研究提出了离散去噪流模型（Discrete Denoising Flows, DDFs），用于建模离散的随机变量，并证明在对数似然度量中，在建模玩具示例，二进制 MNIST 和 Cityscapes 分割地图方面，DDFs 优于 Discrete Flows。

Jul, 2021

PaddingFlow 是一种新颖的去量化方法，通过在流模型中引入填充维度噪声，克服了正则化流模型在具有流形或离散数据时的性能问题，并在无条件密度估计的主要基准测试和条件密度估计的 IK 实验中展示出改进性能。

Mar, 2024

本文探讨了 normalizing flows 模型在离散分布上的应用，提出了可以推广到离散事件的离散流模型。其中考虑了离散自回归流和离散二部流模型，并应用于语言模型中。实验证明于离散分布上离散自回归流优于自回归基线模型，在字符级别的语言建模上离散二部流可以与自回归基线模型竞争。

May, 2019

提出一种使用生成流的非自回归序列生成模型，以提高非自回归序列生成的效率。在三个神经机器翻译基准数据集上进行了评估，与最先进的非自回归神经机器翻译模型性能相当且几乎不随序列长度而变化。

Sep, 2019

提出了一种基于 VAE 的生成模型，该模型联合训练了基于正则化流的潜在空间分布和到观察到的离散空间的随机映射，解决了直接对离散序列应用正则化流所面临的挑战，并具有可比拟的性能和流灵活性。

Jan, 2019

介绍了基于 normalizing flow 的强大而精确的噪声模型 Noise Flow，结合了基本参数噪声模型和神经网络的灵活性和表现力。与已有的噪声模型相比，Noise Flow 具有显著的改进，是第一次试图超越简单的参数模型，利用深度学习和数据驱动的噪声分布来建模和综合图像噪声。

Aug, 2019

本研究提出了一种新的生成模型，它能够在完全无监督的环境中自动解耦图像的全局和局部表示，并借鉴样式转换文献中的结构来嵌入生成流以对解码器进行建模。实验结果表明我们的模型在密度估计、图像生成和无监督表示学习方面都非常有效。

Apr, 2020