本研究提出了一种名为 Adversarial Lipschitz Regularization 的方法,其可行地利用了显式的 Lipschitz 惩罚,并在训练 Wasserstein GANs 时表现出与隐式惩罚相同的性能表现,凸显了 Lipschitz 正则化和对抗性训练之间的重要联系。
Jul, 2019
本文提出了一种创新的方法来强制实现 WGAN 的训练过程中的 Lipschitz 连续性,并与最近的半监督学习方法之一进行了无缝连接,导致不仅产生比以前方法更好的照片真实样本,而且还出现了最新的半监督学习结果,其中我们的方法在仅使用 1,000 个 CIFAR-10 图像时产生了超过 5.0 的 Inception 分数,并且在仅使用 4,000 个标记图像的情况下超过 90%的 CIFAR-10 数据集的精度,是我们所知道的第一个实现此结果的方法。
Mar, 2018
我们的研究工作提出了 CHAINS(lipsCHitz 连续性约束归一化),以解决在有限数据情境下生成对抗网络(GANs)中判别器过拟合和训练不稳定的问题,并通过动态插值归一化和未归一化特征来有效避免判别器过拟合,该方法在 CIFAR-10/100、ImageNet 和多个低数据量和高分辨率图像数据集上取得了最先进的结果。
Mar, 2024
本文提出了一种新的归一化方法 —— 梯度归一化(GN),通过在鉴别器函数上施加硬 1-Lipschitz 约束,从而增加鉴别能力,解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题,并在四个数据集上进行了广泛实验,证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。
Sep, 2021
本文提出了一种使用正则化项的生成对抗网络(GANs)的训练方法,以加强 Lipschitz 限制约束,该方法通过实验数据验证其有效性。
Sep, 2017
本文提出使用 Lipschitz 正则化理论构建的 LS-GAN,进一步以该理论为基础,提出了 GLS-GAN,得到了很好的实验结果,同时还扩展到了条件形式,表现出色于图像分类任务中。
Jan, 2017
本文提出了一种基于一致性正则化的简单、有效的 GAN 训练稳定器,通过在 GAN 鉴别器中引入数据扩充并惩罚鉴别器对这些扩充的敏感度,以在不增加显着计算开销的情况下,为无条件和有条件图像生成提供最佳结果。
Oct, 2019
本文从判别函数最优梯度含义化角度研究生成对抗网络 (GANs) 的收敛性,并表明通过添加 Lipschitz 约束可以消除由于梯度缺乏信息而导致的问题,因此提出了一类名为 Lipschitz GANs (LGANs) 的 GANs,实验证明 LGANs 的样本质量相较于 Wasserstein GANs 更高且更加稳定。
Feb, 2019
本文提出一种名为谱归一化的新颖权重归一化技术,用于稳定生成对抗网络的鉴别器训练。该方法计算轻便,易于应用于现有的实现,并通过在 CIFAR10、STL-10 和 ILSVRC2012 数据集上的实验验证了其有效性,确认谱归一化 GANs 能够生成更好或同质量的图像相对于之前的训练稳定技术。
Feb, 2018
通过探究 Lipschitz 连续性的概念,该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性,以对抗敌对攻击,在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法,将输入域重新映射到受限范围内,减小 Lipschitz 常数,从而提高鲁棒性。与现有的反对抗性训练模型不同,我们的方法几乎没有成本,可以与现有模型集成而无需重新训练。实验结果表明,我们的方法的普适性,可以与各种模型结合,实现鲁棒性的增强。此外,我们的方法在 RobustBench 排行榜上为 CIFAR10、CIFAR100 和 ImageNet 数据集实现了最佳鲁棒准确度。
Jun, 2024