Mar, 2020

Your GAN 是悄悄变成了能量基模型，你应该使用判别器驱动的隐变量采样

PDF
TL;DR本文提出了一种 Discriminator Driven Latent Sampling（DDLS）方法，使用 GAN 的隐含生成器 log 密度和鉴别器的 logit 分数定义一个能量函数，在生成器达到最优前，该函数表示最优真实数据密度。该方法在潜空间内运行 Langevin MCMC，并应用在生成器函数上，从而提高对多种类型的 GAN 进行训练的效率，并无需引入额外的参数或训练。在评估上达到了无条件图像合成的新的最新技术。
ganenergy functionlatent spacelangevin mcmcimage synthesis
发现论文，激发创造
  • 使用单向流进行对抗性似然估计

    生成对抗网络（GANs）可以生成高质量的样本，但不能提供样本周围的概率密度估计。本文通过最大化 log-likelihood 来建议改进分区函数的无偏估计方法，同时最大化生成器熵以提供更好的模式覆盖，利用一种新型的流网络 —— 单向流网络来计算生成样本的密度，从而设计出分区函数的无偏估计方法，并在实验中验证了该方法的快速收敛性、与相似结构 GANs 相当的样本质量、成功避免过度拟合常见数据集以及产生平滑的低维潜在数据表示。

    Jul, 2023

  • 基于潜变量的密度估计

    本研究提出了一种新的生成模型 LED，它不仅可以高效地生成样本，还可以进行高效的密度估计，并通过最大化判别器输出的对数似然来鼓励生成数据的多样性，同时构建一个流式生成器，在保持良好的生成质量的同时，可以计算生成样本的准确概率。

    Jun, 2022

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019

  • 基于能量模型的最大熵生成器

    使用神经生成网络学习能量函数和一种分摊求近似（amortized approximate）的采样机制，结合最近提出的非参数互信息估计器来最大化生成样本的熵，使用必要条件从分数匹配（score matching）文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像，不会出现模式崩溃，并且在异常检测方面具有与现有技术相媲美的竞争力。

    Jan, 2019

  • 具有能量分布概率评估的深度有向生成模型

    本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

    Jun, 2016

  • LOGAN: 生成对抗网络的潜在优化

    利用自然梯度基于潜在空间的优化改进了 CS-GAN 模型，增强了模型的生成器和辨别器之间的互动，通过在 ImageNet 数据集上的实验表明，该方法在生成对抗网络训练中可显著提高模型性能。

    Dec, 2019

  • 你的分类器实际上是基于能量的模型，你应该使用基于能量的模型的方法对待它

    本文提出将标准的判别分类器重新解释为联合分布的能量模型，以提高校准性、鲁棒性和生成学习的绩效。

    Dec, 2019

  • 潜在空间中的基于得分的生成建模

    提出了一种基于变分自编码器框架的潜在分数生成模型 (LSGM)，通过使用潜在空间代替数据空间进行训练，使得该模型可以更加高效地生成样本且在多项任务方面取得了最先进的成果，同时在训练目标中提出多种方差约束的技术以保证其在稳定性和可扩展性上的表现。

    Jun, 2021

  • 能量基生成对抗网络的校准

    本文提出了一种在生成对抗网络中产生直接能量估计样本的方法，并证明该方法不仅可以确保生成器收敛到真实数据分布，而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式，并分析其性质。为了使所提出的框架在实践中可训练，我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配，证明辨别器能够恢复数据分布的能量。

    Feb, 2017

  • 通过不变统计损失训练隐式生成模型

    通过无判别器方法训练一维隐式生成模型，然后扩展到多元情况，成功地学习真实分布并解决现有隐式方法存在的问题。

    Feb, 2024