Jul, 2022

切割 - 瓦瑟斯坦标准化流：超越最大似然训练

PDF
TL;DR提出了一种基于 MLE 和 sliced-Wasserstein 距离的混合目标函数培训规范化流模型的方法，此方法在合成玩具示例和实际图像数据集上取得了更好的生成能力，通过该方法得到的规范化流模型具有更高的数据保真度，可更好地检测出分布之外的数据。
normalizing flowsmaximum likelihood principlesliced-wasserstein distancegenerative abilitiesout-of-distribution data
发现论文，激发创造
  • 切片迭代归一化流

    使用基于迭代最优输运和 Wasserstein 距离的方法，开发了一个能够将任意概率分布函数转化为目标概率分布函数的迭代深度学习算法；其中，还引入了两种正交分片迭代正常化流模型，SIG 模型能够生成高质量的图像数据集，而 GIS 可以在小型数据集上使用，并对密度估计任务具有较高的稳健性和快速性。

    Jul, 2020

  • 从一个数据集到另一个数据集的流动：最大似然估计的变形

    利用正则化流模型，在没有明确知道数据集概率密度的情况下，通过最大似然估计训练正则化流，实现从一个数据集到另一个数据集的变形策略，并研究数据点的移动程度以统计匹配两个数据集，同时以特定特征为条件来生成变形函数。

    Sep, 2023

  • 分段正则流

    该研究介绍了分段归一化流，将目标分布划分为具有更好匹配标准正态基本分布拓扑结构的群集，并训练一系列流来建模复杂的多模式目标。

    May, 2023

  • 小波流：高分辨率归一化流的快速训练

    本文介绍了基于小波变换的多尺度归一化流 Wavelet Flow，它具有低分辨率信号的显式表示和高分辨率信号的条件生成等多个优点，并在比特 / 维度标准测试中表现出与以前的归一化流相媲美的性能。

    Oct, 2020

  • 自由形式流动：使任何架构成为标准化流量

    我们通过使用梯度的有效估计器来克服了正规化流设计受到解析可逆性需求的约束，并实现了任意保持维度的神经网络作为最大似然训练的生成模型，在分子生成基准测试中取得了出色的结果，同时采用现成的 ResNet 架构在一个反问题基准测试中具有竞争力。

    Oct, 2023

  • 分片瓦烧斯坦变分推理

    本研究提出了一种新的变分推断方法，通过最小化切片 Wasserstein 距离来近似非规范化分布并使用神经网络对变分分布进行逼近。我们还提供了理论性分析，并用合成和实际数据进行了实验验证。

    Jul, 2022

  • 最大切片 Wasserstein 距离及其在 GAN 中的应用

    本研究研究生成式对抗网络（GAN）和变分自编码器在分布建模方面的应用，着重研究了可靠性和效率，提出了一种新的距离度量方法：最大切片 Wasserstein 距离，能够更有效地提高 GAN 的训练效果。

    Apr, 2019

  • 变分 Wasserstein 梯度流

    本文提出一种应用于概率分布空间优化问题中的变分形式的 Wasserstein 梯度流方法，该方法利用了内部批量样本更新，实现了良好定义和有意义的目标函数下的梯度流构造，并在合成和真实高维数据集的实验中展示了其性能和可扩展性。

    Dec, 2021

  • 训练计算密集型目标概率分布的正则化流

    机器学习技术特别是所谓的标准化流在蒙特卡洛模拟中变得越来越受欢迎，因为它们可以有效地逼近目标概率分布。在格点场论中，目标分布由作用的指数给出。我们提出了一种基于 REINFORCE 算法的标准化流估计器，避免了相关的计算问题，应用于临界维度的二维 Schwinger 模型，并显示它相比重新参数化技巧估计器的墙钟时间更快，内存需求减少了 30％，数值上更稳定，并允许进行单精度计算和使用半浮点张量核心。我们深入分析了这些改进的原因，这些优点也将出现在目标概率分布计算复杂的其他领域中。

    Aug, 2023

  • 通过 Wasserstein 空间中的近端梯度下降实现基于流的生成模型的收敛

    通过使用渐进流模型 JKO 流模型，在生成数据方面提供了理论保证，证明了其数据生成能力的 KL 保证在一些条件下的收敛速度为 O (ε^2)。

    Oct, 2023