推进式生成模型能够拟合多模态分布吗？

Jun, 2022

推进式生成模型能够拟合多模态分布吗？

Can Push-forward Generative Models Fit Multimodal Distributions?

Antoine Salmona, Valentin de Bortoli, Julie Delon, Agnès Desolneux

TL;DR通过研究生成模型中的推进模型，发现模型的 Lipschitz 常数必须很大才能拟合多模态分布，而稳定性与能力之间存在可证明的权衡关系。同时，基于可证的发现，在一维和图像数据集上验证了模型的稳定性，并证明了堆叠网络和扩散模型的生成模型不会饱经多模独立现象下的诸多限制。

Abstract

Many generative models synthesize data by transforming a standard Gaussian random variable using a deterministic neural network. Among these models are the Variational Autoencoders and the Generative Adversarial Networks. In this work, we call them "push-forward" models and study their

generative models push-forward models lipschitz constant multimodal distributions stability

发现论文，激发创造

GAN 的最佳精度

研究深度生成模型的潜在空间几何结构及优化条件，通过实验提出限制方法，提高生成对抗网络的性能。

Jul, 2022

生成模型的自适应密度估计

该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

Jan, 2019

用于组合表示学习的多模态生成模型

该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明，对于图像、标签和文本数据，这些模型在很多领域中达到了最优结果，并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后，在配合口语的任务中，该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。

Dec, 2019

神经变分文本处理的分段潜变量

本文提出一种新的分段常数分布作为一种复杂的潜在因素分布，以更好地建模实际数据集中的多模式潜在因素，实验结果表明，我们的方法在自然语言处理任务中实现了显著的提高。

Dec, 2016

神经隐式流形学习在拓扑感知生成建模中的应用

本论文提出一种通过神经隐式流来表示数据流形分布的方法，称为神经隐式流分布。为了解决基于前向模型的限制，引入了约束能量模型，该方法使用约束的 Langevin 动力学来训练和采样，能比前向模型更精确地学习复杂拓扑结构的流形支持分布，并允许将模型流形的并集和交集进行运算。

Jun, 2022

混合分布的稀疏通信

本文介绍一种新的 “直和” 基础度量方法用于概率简单形式下的混合随机变量，并对混合离散变量模型的表示与采样提出两种策略，通过基于混合随机变量的自动编码器的实现和表现，验证该方法的有效性。

Aug, 2021

具随机游走采样的变分扩散自编码器

本文提出一种方法，将变分自编码器和生成对抗网络与扩散映射相结合，创建了一个继承扩散映射渐近保证的生成模型，同时保持深度模型的可扩展性。

May, 2019

神经网络表达分布能力探究

通过 Barron 定理，我们证明了一组满足某些 Fourier 条件的函数的组合可以通过一个多达 $n+1$ 层的神经网络来逼近，为深度神经网络的表达能力提供了解释。英文原文主要探讨了神经网络的一些基本性质以及其在生成模型领域的应用，建议阅读原文以获取更多细节。

Feb, 2017

通过不变统计损失训练隐式生成模型

通过无判别器方法训练一维隐式生成模型，然后扩展到多元情况，成功地学习真实分布并解决现有隐式方法存在的问题。

Feb, 2024

变分扩散模型

本文介绍了一种基于扩散的生成模型，并通过优化噪声时间表等带有高效率的方法，使其在标准图像密度估计基准测试中获得最先进的似然。

Jul, 2021