CVPRMar, 2024

CHAIN：通过利普希茨连续约束归一化增强数据高效 GAN 的泛化能力

PDF
TL;DR我们的研究工作提出了 CHAINS（lipsCHitz 连续性约束归一化），以解决在有限数据情境下生成对抗网络（GANs）中判别器过拟合和训练不稳定的问题，并通过动态插值归一化和未归一化特征来有效避免判别器过拟合，该方法在 CIFAR-10/100、ImageNet 和多个低数据量和高分辨率图像数据集上取得了最先进的结果。
发现论文，激发创造
  • 关于在 GANs 中高效、无偏的实现 Lipschitz 连续性

    本文提出一种新的方法代替传统的梯度惩罚法和谱标准化法，通过实验证明该方法可以取得成功的训练稳定性和样本质量。

    Apr, 2019

  • 改进 Wasserstein GAN 的训练：一致性损失及其双重效应

    本文提出了一种创新的方法来强制实现 WGAN 的训练过程中的 Lipschitz 连续性，并与最近的半监督学习方法之一进行了无缝连接，导致不仅产生比以前方法更好的照片真实样本，而且还出现了最新的半监督学习结果，其中我们的方法在仅使用 1,000 个 CIFAR-10 图像时产生了超过 5.0 的 Inception 分数，并且在仅使用 4,000 个标记图像的情况下超过 90％的 CIFAR-10 数据集的精度，是我们所知道的第一个实现此结果的方法。

    Mar, 2018

  • 生成对抗网络的梯度归一化

    本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。

    Sep, 2021

  • 对抗性利普希茨正则化

    本研究提出了一种名为 Adversarial Lipschitz Regularization 的方法，其可行地利用了显式的 Lipschitz 惩罚，并在训练 Wasserstein GANs 时表现出与隐式惩罚相同的性能表现，凸显了 Lipschitz 正则化和对抗性训练之间的重要联系。

    Jul, 2019

  • 提高生成对抗网络的泛化能力和稳定性

    本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。

    Feb, 2019

  • 关于 Wasserstein GAN 正则化的研究

    本文提出了一种使用正则化项的生成对抗网络（GANs）的训练方法，以加强 Lipschitz 限制约束，该方法通过实验数据验证其有效性。

    Sep, 2017

  • 改进的 Wasserstein GANs 训练

    提出了一种比传统的 WGAN 更好的 GAN 训练方法，使用正则化替代权重截取，通过惩罚评判器对其输入梯度的范数，可以实现各种 GAN 结构的稳定训练和高质量生成。

    Mar, 2017

  • 针对 Lipschitz 密度的损失敏感型生成对抗网络

    本文提出使用 Lipschitz 正则化理论构建的 LS-GAN，进一步以该理论为基础，提出了 GLS-GAN，得到了很好的实验结果，同时还扩展到了条件形式，表现出色于图像分类任务中。

    Jan, 2017

  • 关于批归一化和权重归一化对生成对抗网络的影响

    本研究介绍了一种基于权重标准化的方法，用于改善生成对抗网络（GAN）的训练稳定性、效率和生成样本质量，并提供了基于测试集的平方欧几里得重构误差作为新的客观质量度量来评估训练性能，结果表明该方法优于基于批标准化（BN）的方法，并在常用数据集上取得了更好的定性和定量结果。

    Apr, 2017

  • Lipschitz 生成对抗网络

    本文从判别函数最优梯度含义化角度研究生成对抗网络 (GANs) 的收敛性，并表明通过添加 Lipschitz 约束可以消除由于梯度缺乏信息而导致的问题，因此提出了一类名为 Lipschitz GANs (LGANs) 的 GANs，实验证明 LGANs 的样本质量相较于 Wasserstein GANs 更高且更加稳定。

    Feb, 2019