Dec, 2022

对抗生成网络中防止模式崩溃的分布拟合

PDF
TL;DR本文提出了一种全局分布拟合方法和一种局部分布拟合方法来解决生成式对抗网络中的模式崩溃问题，实验证明这两种方法具有有效性和竞争性表现。
mode collapsegenerative adversarial networksglobal distribution fittinglocal distribution fittingsub-distributions
发现论文，激发创造
  • 生成对抗网络的收敛性和稳定性

    本次论文研究了使用后悔最小化的方式来训练 GAN，提出了在非凸偏好游戏中存在不良局部均衡的假设，并提出了 DRAGAN 梯度惩罚方案以避免产生收缩现象，这样可以实现更快速的训练，更少的模式崩溃以及更好的建模性能。

    May, 2017

  • 没有模式被遗漏：使用 GAN 有效捕获数据分布

    本文提出了一种新的简单方法，将基于编码器的目标函数与新颖的损失函数相结合，以在丢失模式问题上改进生成对抗网络（GAN）的训练，其中详细分析了玩具和真实数据集的量化和定性结果，证明了该方法在解决缺失模式问题和提高 GAN 训练方面的有效性。

    Feb, 2018

  • 利用自适应多对抗训练克服模式崩溃

    本研究以新的数据生成过程为基础，揭示了生成对抗网络（GAN）生成器模式崩溃的驱动因素是判别器对先前样本的分类准确性的遗忘，即连续学习中的灾难性遗忘现象。为了解决此问题，我们引入了一种自适应生成额外判别模式的训练方法，可以减轻模式崩溃并提高 GAN 评估的标准度量。

    Dec, 2021

  • 通过流形熵估计来抑制 GAN 中的模式崩溃

    本文提出了一种新的训练管道以解决生成对抗网络（GAN）中的模式崩溃问题，通过将鉴别器推广为特征嵌入并最大化鉴别器学习到的嵌入空间的分布熵，利用两个正则化项：Deep Local Linear Embedding 和 Deep Isometric feature Mapping 来鼓励判别器学习数据中嵌入的结构信息，进而有效降低模式崩溃，提高样本质量。

    Aug, 2022

  • 通过 f - 分离最小化来对齐语言模型与偏好

    提出了一种新的方法 f-DPG，它允许使用任何 f - 分歧来近似任何目标分布。f-DPG 统一了 RLHF 和 GDC 的两个框架，并且演示了不同的分歧优于近似不同目标。

    Feb, 2023

  • PacGAN: 生成对抗网络中两个样本的优势

    本文提出了一种名为 packing 的方法来处理 GAN 中的模式崩溃现象，其主要思想是修改判别器使其决策基于同一类别的多个样本（真实或者人工生成的）。数值实验表明 packing 在实践中提供了显著的改进。

    Dec, 2017

  • 混合密度生成对抗网络

    本文提出了一种新型 GAN 变体 Mixutre Density GAN，通过在判别器嵌入空间中形成聚类来打破生成器的模式崩塌问题，从而发现不同的数据模式，并在生成高质量图像方面表现出色。

    Oct, 2018

  • 多生成器生成对抗网络

    本文提出了一种名为 Mixture GAN （MGAN）的新方法，该方法采用多个生成器的混合训练，旨在克服 mode collapsing 问题，通过理论分析得出结论，证明了在平衡状态下，多个生成器的分布和数据分布之间的 Jensen-Shannon 差异最小，生成器之间的 Jensen-Shannon 差异最大，从而有效地避免了 mode collapsing 问题，能够在多项实验中取得明显的优势。

    Aug, 2017

  • Dist-GAN：使用距离约束改进的 GAN

    通过引入自动编码器并提出两个新的距离约束条件，有效地解决了生成对抗网络中的模式崩溃和梯度消失问题，并通过 Dist-GAN 在多个基准数据集上取得了比最先进方法更好的结果。

    Mar, 2018

  • 图像生成中数据高效 GAN 的全面调查

    通过对分布优化的角度重温和定义 DE-GAN，将现有方法分类为数据选择、GANs 优化和知识共享三个类别，总结了 Data-Efficient GANs 的特性、挑战与解决方案，并试图突出当下问题和未来方向。

    Apr, 2022