从最大间隔的视角看梯度惩罚
本文提出了一种使用正则化项的生成对抗网络(GANs)的训练方法,以加强 Lipschitz 限制约束,该方法通过实验数据验证其有效性。
Sep, 2017
本文提出了一种新的归一化方法 —— 惩罚梯度归一化(PGN),用于解决由于尖锐梯度空间导致的生成敌对网络(GAN)的训练不稳定性。通过对判别函数施加惩罚梯度约束,提高了鉴别器的能力,可以在不同的 GAN 架构上应用而无需进行多少修改,广泛的实验表明,penalty gradient normalization 可以提高 GAN 的性能。
Jun, 2023
本研究提出了 Gang of GANs (GoGAN) 方法,将 WGAN 的鉴别器损失推广到基于边界的方法,实现更好的生成器和较少的梯度消失、不稳定性和模式崩溃问题,并采用一种新的 GAN 质量测量方式,并在四个视觉数据集上进行了评估,相较于 WGAN 有了视觉和定量的改进。
Apr, 2017
本研究提出了一种名为 Adversarial Lipschitz Regularization 的方法,其可行地利用了显式的 Lipschitz 惩罚,并在训练 Wasserstein GANs 时表现出与隐式惩罚相同的性能表现,凸显了 Lipschitz 正则化和对抗性训练之间的重要联系。
Jul, 2019
本文从判别函数最优梯度含义化角度研究生成对抗网络 (GANs) 的收敛性,并表明通过添加 Lipschitz 约束可以消除由于梯度缺乏信息而导致的问题,因此提出了一类名为 Lipschitz GANs (LGANs) 的 GANs,实验证明 LGANs 的样本质量相较于 Wasserstein GANs 更高且更加稳定。
Feb, 2019
本文提出了一种新的归一化方法 —— 梯度归一化(GN),通过在鉴别器函数上施加硬 1-Lipschitz 约束,从而增加鉴别能力,解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题,并在四个数据集上进行了广泛实验,证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。
Sep, 2021
提出了一种比传统的 WGAN 更好的 GAN 训练方法,使用正则化替代权重截取,通过惩罚评判器对其输入梯度的范数,可以实现各种 GAN 结构的稳定训练和高质量生成。
Mar, 2017
本研究探索了 Wasserstein 生成对抗网络在巴拿赫空间中引入梯度惩罚后的理论扩展和一些具体选择的基础点,重点关注 Sobolev 范数,并在 CIFAR-10 和 CelebA 中展示了性能提升。
Jun, 2018
本文通过分析实际情景下 GAN 的泛化能力,证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差,并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力,并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验,验证了理论分析的正确性。
Feb, 2019
本文研究生成对抗网络中用于逼近 Wasserstein 度量的方法,考虑到 $c$-transformation 的使用可以更精确地估计真实的 Wasserstein 度量,但在生成模型方面,$c$-transformation 不是表现最好的方法。
Oct, 2019