使用随机插值构建归一化流

ICLRSep, 2022

Building Normalizing Flows with Stochastic Interpolants

Michael S. Albergo, Eric Vanden-Eijnden

TL;DR本文提出一种基于连续时间正规化流的生成模型，该流的速度场由时间依赖密度的概率流推断而来，可用于样本生成和密度估计，并可最小化插值密度的路径长度来建立最优传输映射。该方法通过对基于随机微分方程的方法的简化，使生成的流可以以低成本超越传统方法，并可在图像生成等任务上达到较理想的性能。

Abstract

A generative model based on a continuous-time normalizing flow between any pair of base and target probability densities is proposed. The velocity field of this flow is inferred from the probability current of a time-dependent density that interpolates between the base and the target i

normalizing flow probability density ode solver diffusion model image generation

发现论文，激发创造

高斯插值流

我们研究了基于高斯降噪的模拟 - free 连续标准化流的良定义性、可微性和唯一性，通过建立高斯插值流的统一框架，我们证明了流速度场的利普希茨正则性、流的存在唯一性，以及流映射和时间反向流映射在多个丰富的目标分布类别中的利普希茨连续性，这也揭示了高斯插值流的自动编码和循环一致性特性。我们还研究了这些流在源分布和速度场扰动中的稳定性，利用二次 Wasserstein 距离作为度量。我们的发现为用于生成建模中的高斯插值流的学习技术提供了宝贵的见解，为使用经验观察进行端到端误差分析的学习 GIFs 提供了坚实的理论基础。

Nov, 2023

使用动态规范流建模连续随机过程

本文提出一种新型的正则化流，其基于 Wiener 过程的微分变形，从而获得一个完整的时间序列模型，该模型继承了其基本过程的许多性质，如似然性和边缘效率。此外，我们的连续处理为有独立到达过程的不规则时间序列提供了自然框架，包括直接插值。在合成数据和真实世界数据的一系列实验中，我们证明了该模型相对于变分 RNN 和潜在 ODE 基线的优越灵活性。

Feb, 2020

随机正常化流

提出了随机归一化流的概念，它是一种在机器学习和统计力学领域中解决概率分布采样问题的方法，具有较快的采样效率和较强的表示能力。

Feb, 2020

依赖数据耦合的随机插值

使用基于随机插值的框架将基本密度与目标密度进行耦合，构建了条件生成模型，从而实现了类标签或连续嵌入的信息传输，通过超分辨率和修复实验验证了构建相关联的耦合的实用性。

Oct, 2023

分段正则流

该研究介绍了分段归一化流，将目标分布划分为具有更好匹配标准正态基本分布拓扑结构的群集，并训练一系列流来建模复杂的多模式目标。

May, 2023

神经样条流

本文介绍基于单调分段函数有理二次样条的神经模型流，在保持解析可逆性的同时提高了耦合和自回归变换的灵活性，并展示了神经样条流在密度估计、变分推断和图像生成建模中的相对表现优良。

Jun, 2019

Q - 归一化流和极小密度比估计

本文提出了一种新的流模型 Q-malizing flow，它是由神经 ODE 模型构建的，能够从 P 分布可达到任意 Q 分布，主要应用在密度比估计和高维数据相互信息估计中。

May, 2023

流动地图匹配

基于动态测量输运的生成模型通过学习常微分方程或随机微分方程，将初始条件从已知基础分布推导到目标分布。我们介绍了流图匹配算法，通过学习潜在常微分方程的双时间流图，得到了一个高效的几步生成模型，其步数可以根据精度和计算成本进行灵活的调节。与扩散模型或随机插值方法相比，流图匹配方法能够以显著降低的采样成本生成高质量样本。

Jun, 2024

平滑归一化流

本文介绍了一种使用混合变换的规范连续流方法，可应用于计算力和高阶导数所需的平滑密度函数，并可用于分子动力学模拟。

Oct, 2021

三次样条流

本文介绍一种基于单调三次 B 样条和 LU 分解的耦合变换正则化流，其在密度估计上表现出与自回归流相衔接的效果。

Jun, 2019