ICLRFeb, 2019

提高生成对抗网络的泛化能力和稳定性

PDF
TL;DR本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。
generative adversarial networksgeneralizationdiscriminatorzero-centered gradient penaltyconvergence
发现论文，激发创造
  • 强健的生成对抗网络

    本文提出了一种通过在小的邻域内促进局部鲁棒性来提高生成对抗网络的泛化能力的方法，并在 CIFAR-10 数据集上的实验表明，该鲁棒性生成对抗网络能够显著而一致地改善五个基线模型。

    Apr, 2020

  • 生成对抗网络中的泛化和均衡

    通过对生成对抗网络的训练，我们发现它可能没有良好的泛化特性，并且展示了训练成功不代表训练的分布接近目标分布，但是泛化确实存在于弱度量的神经网络距离中。我们证明了当生成器容量和训练集大小适中时，鉴别器 / 生成器博弈存在近似的纯平衡，这启发了 MIX+GAN 协议的存在可以与任何现有的 GAN 训练相结合，并在实践中改善了其中一些。

    Mar, 2017

  • 生成对抗网络学习分布的误差分析

    本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

    May, 2021

  • GAN 中的歧视 - 泛化取舍

    本文研究了生成式对抗网络的判别器集合，证明了其线性张成是连续函数有界集合的密集子集，则其是判别性的，我们还通过不同的评价指标开发了广义边界，阐明了实际性能。

    Nov, 2017

  • 生成对抗网络中的泛化：来自隐私保护的新视角

    理论上我们证明了使用差分隐私算法来训练生成对抗网络（GAN）不会过度拟合，我们的新的隐私保护视角可以重新解释贝叶斯 GAN 等最新工作。通过各种成员攻击评估 GAN 模型的信息泄露，结果表明以前的 Lipschitz 规则技术不仅能够减少泛化间隙，而且还能减轻训练数据集的信息泄露。

    Aug, 2019

  • 通过正则化稳定生成对抗网络的训练

    通过提出一种新的正则化方法，我们克服了 GAN 模型分布和数据分布之间维度不匹配的局限性，并证明了该正则化方法在多种常见图像生成任务中的有效性。

    May, 2017

  • 生成对抗网络（GANs）的收敛问题

    本文旨在为数学家提供适用的 GANs 理论解释，概述 GANs 的训练问题和拓扑学和博弈论视角如何贡献于我们理解和实践 GANs 的技术的正面和反面结果。

    Jun, 2018

  • 生成式对抗网络的公正性分析

    本文分析并强调 GAN 模型的公平性问题，提出了针对样本组的 GAN 模型调节或采用集成方法的解决方案，避免因训练过程中对某些群体偏好而测试时不能统一生成不同群体的数据分布。

    Mar, 2021

  • 理解 GANs: LQG 设置

    本文研究了生成对抗网络在高维高斯数据下的建模、鲁棒性以及泛化能力，并提出了一种能快速推广、拥有全局稳定性的 GAN 结构模型，最终利用模型设计实现了 GAN 在复杂数据下的应用。

    Oct, 2017

  • 生成对抗网络的 “可操控性

    该论文研究了生成模型的视觉泛移能力，发现虽然目前的生成对抗网络（GAN）可以很好地拟合标准数据集，但它们仍然没有成为视觉流形的全面模型。同时，研究者还发现这些模型反映了训练数据集的偏差，并提出了一些缓解问题的技术。

    Jul, 2019