概率建模与推理的正则化流

Dec, 2019

Normalizing Flows for Probabilistic Modeling and Inference

George Papamakarios, Eric Nalisnick, Danilo Jimenez Rezende, Shakir Mohamed, Balaji Lakshminarayanan

TL;DR本文综述了正则流动的研究现状，通过概率建模和推断的视角，分析了其表达能力、计算权衡等基础原理，并将其与更一般的概率转换联系起来，总结了其在生成建模、近似推断和监督学习等任务中的应用。

Abstract

normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on →

normalizing flows probabilistic modeling expressive power computational trade-offs generative modeling

发现论文，激发创造

正规流：当前方法的介绍与评述

本文综述了 Normalizing Flows 在分布学习中的构建和使用，旨在提供模型的背景和解释，回顾现有的最新文献，并确定未来可行的有前途的方向和未解决的问题。

Aug, 2019

图形正态流

本文提出了一种基于贝叶斯网络和图结构的图归一化流模型，在保留贝叶斯网络的可解释性和图归一化流的表示能力的同时，为将领域知识注入图归一化流提供了一个有前途的方法。

Jun, 2020

分段正则流

该研究介绍了分段归一化流，将目标分布划分为具有更好匹配标准正态基本分布拓扑结构的群集，并训练一系列流来建模复杂的多模式目标。

May, 2023

从有条件的归一化流中提取知识

本研究通过提出一种简单的蒸馏方法，证明了在图像超分辨率和语音合成领域，可以将基于流的模型提炼为更高效的替代模型。

Jun, 2021

离散序列的潜在正则化流

提出了一种基于 VAE 的生成模型，该模型联合训练了基于正则化流的潜在空间分布和到观察到的离散空间的随机映射，解决了直接对离散序列应用正则化流所面临的挑战，并具有可比拟的性能和流灵活性。

Jan, 2019

一类归一化流模型的表达能力

本文研究了基本的正则化流，并在其表达能力上严格地建立了界限。研究结果表明，尽管这些流在一个维度上具有高度表达能力，在更高的维度下，特别是在流具有适度深度时，它们的表达能力可能受到限制。

May, 2020

可变尾巴的正则化流动

使用高斯基础分布和最终变换层来生成重尾，我们提出了尾部变换流（TTF）方法，实验证明此方法在目标分布具有大维度或重尾权重时表现优于当前方法。

Jun, 2024

自由形式流动：使任何架构成为标准化流量

我们通过使用梯度的有效估计器来克服了正规化流设计受到解析可逆性需求的约束，并实现了任意保持维度的神经网络作为最大似然训练的生成模型，在分子生成基准测试中取得了出色的结果，同时采用现成的 ResNet 架构在一个反问题基准测试中具有竞争力。

Oct, 2023

维度通用的正则化流

本研究介绍了一种名为 NIF 的流行有噪声映射模型，可以通过注入变换学习数据流形的降维表示，有效提高了样品质量和数据嵌入的可分性。

Jun, 2020

图形规范化流

本文提出了一种新型、基于图的生成模型 —— 图可逆正则流，并尝试将其应用于监督学习和非监督学习任务中，与其他自回归模型相比表现良好且更适合于并行计算架构。

May, 2019