ICMLMar, 2017

生成对抗网络中的泛化和均衡

PDF
TL;DR通过对生成对抗网络的训练，我们发现它可能没有良好的泛化特性，并且展示了训练成功不代表训练的分布接近目标分布，但是泛化确实存在于弱度量的神经网络距离中。我们证明了当生成器容量和训练集大小适中时，鉴别器 / 生成器博弈存在近似的纯平衡，这启发了 MIX+GAN 协议的存在可以与任何现有的 GAN 训练相结合，并在实践中改善了其中一些。
generative adversarial networkgeneralizationneural net distancediscriminatortraining objectives
发现论文，激发创造
  • GANs 可能没有纳什均衡

    本论文研究了生成对抗网络在最小极大博弈中存在的纳什均衡问题，提出了一种新的基于近端算子的目标函数来获得用于训练生成网络的近端均衡点，称为近端训练， 并进行了数值实验。

    Feb, 2020

  • 提高生成对抗网络的泛化能力和稳定性

    本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。

    Feb, 2019

  • 对抗网络的超越局部纳什均衡

    通过将生成对抗网络明确建模为混合策略有限博弈，该论文提出了一种资源有限 Nash 均衡解决方案，可通过增加计算资源找到更好的解决方案，证明了该方法比 GAN 和 MGAN 产生的解决方案不易被操纵，且与理论预测的 NEs 非常相似。

    Jun, 2018

  • 寻找生成对抗网络的混合纳什均衡

    通过无限维二人博弈的新算法框架，我们证明了混合 Nash Equilibria 上的收敛性率，最终通过简单取样程序实现了高效的算法，证明了其在速度和质量上的优越表现。

    Oct, 2018

  • BEGAN：边界平衡生成对抗网络

    使用自编码器的生成式对抗网络，并采用基于 Wasserstein 距离的一种新的平衡策略进行训练，实现了高分辨率图像的高质量生成，并在图像多样性和视觉质量之间实现了平衡。

    Mar, 2017

  • 强健的生成对抗网络

    本文提出了一种通过在小的邻域内促进局部鲁棒性来提高生成对抗网络的泛化能力的方法，并在 CIFAR-10 数据集上的实验表明，该鲁棒性生成对抗网络能够显著而一致地改善五个基线模型。

    Apr, 2020

  • 生成对抗网络的 “可操控性

    该论文研究了生成模型的视觉泛移能力，发现虽然目前的生成对抗网络（GAN）可以很好地拟合标准数据集，但它们仍然没有成为视觉流形的全面模型。同时，研究者还发现这些模型反映了训练数据集的偏差，并提出了一些缓解问题的技术。

    Jul, 2019

  • 淬炼对抗网络

    通过引入一种简单的方法，使真实数据分布经过一个‘透镜’传达给辨别器，让生成器逐步揭示出更多细节特征，改善了 GAN 训练的质量、稳定性和收敛速度，对各种 GAN 架构如 DCGAN、LSGAN、WGAN-GP 都可行。

    Feb, 2018

  • 生成对抗网络学习分布的误差分析

    本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

    May, 2021

  • 生成式对抗网络的公正性分析

    本文分析并强调 GAN 模型的公平性问题，提出了针对样本组的 GAN 模型调节或采用集成方法的解决方案，避免因训练过程中对某些群体偏好而测试时不能统一生成不同群体的数据分布。

    Mar, 2021