Jul, 2023

使用单向流进行对抗性似然估计

PDF
TL;DR生成对抗网络（GANs）可以生成高质量的样本，但不能提供样本周围的概率密度估计。本文通过最大化 log-likelihood 来建议改进分区函数的无偏估计方法，同时最大化生成器熵以提供更好的模式覆盖，利用一种新型的流网络 —— 单向流网络来计算生成样本的密度，从而设计出分区函数的无偏估计方法，并在实验中验证了该方法的快速收敛性、与相似结构 GANs 相当的样本质量、成功避免过度拟合常见数据集以及产生平滑的低维潜在数据表示。
generative adversarial networkslog-likelihoodwasserstein gangenerator entropyone-way flow network
发现论文，激发创造
  • Flow-GAN：在生成模型中结合最大似然和对抗学习

    通过混合训练方式，利用生成对抗网络以及精确似然估计评估方法，解决了最大似然训练无法评估生成质量的问题。

    May, 2017

  • 基于能量模型的最大熵生成器

    使用神经生成网络学习能量函数和一种分摊求近似（amortized approximate）的采样机制，结合最近提出的非参数互信息估计器来最大化生成样本的熵，使用必要条件从分数匹配（score matching）文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像，不会出现模式崩溃，并且在异常检测方面具有与现有技术相媲美的竞争力。

    Jan, 2019

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019

  • 生成对抗网络学习分布的误差分析

    本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

    May, 2021

  • 生成对抗网络的可能性估计

    提出了一种简单的方法来评估生成对抗网络中生成的图像质量，通过定义与真实图像在鉴别器中的嵌入分布相关的高斯似然函数，并基于此定义两个简单的度量方式，从而得出一种适用于各种 GAN 的生成图像适应度的简单度量标准，CIFAR-10 上的实证结果证明了提出的度量和生成图像的质量之间的强相关性。

    Jul, 2017

  • 从密度比估计角度看生成对抗网络

    提出了一种基于密度比估计和 f - 散度最小化的算法，旨在通过多种视角来了解生成对抗网络（GANs）的特点，提高生成器的学习效果。

    Oct, 2016

  • 熵生成对抗网络与变分自编码器相遇：计算 GAN 样本似然的统计方法

    通过构建一种显式的概率模型，将沃瑟斯坦 GANs 与熵正则化视为基于变分下界的生成模型，从而使得 GANs 和 VAEs 之间建立了有理论支持的联系。同时，作者还在多个数据集上计算了 GANs 的似然统计量，验证了该理论结果。

    Oct, 2018

  • FIS-GAN：基于流式重要性采样的 GAN

    本文探讨了在生成式对抗网络训练中使用重要性采样方法进行优化的可能性。通过使用重要性采样来替代在潜空间使用均匀分布或高斯分布采样的方法，并利用正则化流来近似潜空间后验分布进行密度估计，结合 MNIST 和 Fashion-MNIST 的实验表明该方法有效提高了生成样本的优化速度且保持了视觉上的保真度。

    Oct, 2019

  • 关于生成对抗模型在低内在数据维度下的统计特性

    尽管生成对抗网络（GANs）在实证方面取得了显著的成功，但其统计准确性的理论保证仍然相对悲观。本论文试图在理论和 GANs 以及双向 GANs（BiGANs）的实践之间架起桥梁，通过推导出关于估计密度的统计保证，以数据的固有维度和潜在空间为基础。

    Jan, 2024

  • 最大似然和基于 GAN 的训练 Real NVPs 的比较

    本文通过最大似然法和 Wasserstein GAN 训练了一个生成器，通过相关样本、概率密度和 Wasserstein 距离的比较表明，独立的评论家在验证集和生成分布之间估算 Wasserstein 距离可以帮助检测过度拟合。最后，本文采用一次学习文献中的思想，开发了一个新的快速学习评论家。

    May, 2017