Sep, 2023

infoGAN 的二层网络的目标函数等式特性

PDF
TL;DR在无监督生成对抗网络 (infoGAN) 中，判别器和生成器通过最大化互信息函数来解决最小最大问题。研究表明随着判别器和生成器样本数量趋近于无穷大，infoGAN 中的两个目标函数变得等价。通过考虑经验和总体版本目标函数之间的差异，并结合判别器和生成器函数类的 Rademacher 复杂度，确定了这种差异的界限。此外，使用两层网络作为判别器和生成器，具有 Lipschitz 和非递减激活函数，验证了这一等价性。
information maximizing generative adversarial networkinfoganminimax problemobjective functionequivalence
发现论文，激发创造
  • 生成对抗学习的逼近与收敛特性

    本文研究了生成对抗网络在逼近目标分布时的两个基本问题：限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念，证明了使用受限制的鉴别器家族具有矩匹配效应，并且对于严格对抗性分歧的目标函数，证明了目标函数上的收敛蕴含着弱收敛。

    May, 2017

  • Lipschitz 生成对抗网络

    本文从判别函数最优梯度含义化角度研究生成对抗网络 (GANs) 的收敛性，并表明通过添加 Lipschitz 约束可以消除由于梯度缺乏信息而导致的问题，因此提出了一类名为 Lipschitz GANs (LGANs) 的 GANs，实验证明 LGANs 的样本质量相较于 Wasserstein GANs 更高且更加稳定。

    Feb, 2019

  • InfoMax-GAN: 基于信息最大化和对比学习的改进对抗图像生成

    本文提出了一种基于对比学习和互信息最大化的正式框架，可以同时减轻生成敌对网络（GAN）中两个根本问题：鉴别器的灾难性遗忘和生成器的模式坍塌，从而在图像合成中显着稳定 GAN 训练和提高 GAN 性能。

    Jul, 2020

  • 信息增益生成对抗网络可解释的表示学习

    InfoGAN 是一种信息论扩展的生成对抗网络，能够以完全无监督的方式学习分离表示，其中以小部分潜在变量和观察之间的相互信息为最大化目标，通过优化互信息下限来训练，并成功地在 MNIST、SVHN 和 CelebA 数据集上取得了竞争性的结果。

    Jun, 2016

  • 生成对抗网络：超越散度最小化

    本研究讨论了与 G（生成器）相关的大多数损失函数的属性，表明这些损失函数并不是发散的，并且不具有发散的期望平衡。研究结果显示， GANs 不符合发散最小化理论，并且形成了比先前假设的模型更广泛的模型范围。

    Sep, 2018

  • GANs 的改进生成器目标

    本文提出了一种 GAN 训练的解释框架，将其理解为交替的密度比率估计和近似的差异最小化，并解释了实践中常用的 GAN 生成器和鉴别器目标的不匹配问题以及样本多样性不足的问题，并推导出一组生成器目标，旨在针对任意 $f$- 散度而不是最小化下界，并使用它们来训练产生改进的样本质量或更大的样本多样性的生成式图像模型。

    Dec, 2016

  • 关于 $(f,Γ)$-GAN 的浓度不等式

    GANs 的统计一致性研究：通过导出有限样本集中不等式，扩展了 $(f,\Gamma)$-GANs 理论的适用领域，同时在适当的极限情况下，与基于积分概率度量的 GANs 结果相符，并展现出在多个应用中提供提升性能的能力。

    Jun, 2024

  • GAN 中的歧视 - 泛化取舍

    本文研究了生成式对抗网络的判别器集合，证明了其线性张成是连续函数有界集合的密集子集，则其是判别性的，我们还通过不同的评价指标开发了广义边界，阐明了实际性能。

    Nov, 2017

  • 关于生成对抗网络的一些理论性质

    本文通过分析数学和统计学特性，研究生成式对抗网络与 Jensen-Shannon 散度的深刻联系，并提供鉴别器族群的逼近论证及样本估计分布的大样本性质，特别地证明了中心极限定理。

    Mar, 2018

  • 隐式生成模型中的学习

    本文介绍了生成对抗网络（GANs）的算法框架，将其与隐式生成模型的学习算法相联系，提出了基于密度比估计的方法并借此引导观察者更深层次地思考生成模型。

    Oct, 2016