Nov, 2023

泛洪正则化用于稳定训练生成对抗网络

PDF
TL;DR该论文提出了一种针对生成对抗网络（GANs）的训练不稳定问题的解决方法，通过直接对抗损失函数进行正则化，使用洪水法（flooding）抑制判别器的损失过低，实验证明洪水法可以稳定 GANs 的训练，并与其他稳定技术结合使用。
generative adversarial networksinstabilityregularizationfloodingstabilization
发现论文，激发创造
  • 通过正则化稳定生成对抗网络的训练

    通过提出一种新的正则化方法，我们克服了 GAN 模型分布和数据分布之间维度不匹配的局限性，并证明了该正则化方法在多种常见图像生成任务中的有效性。

    May, 2017

  • AdaFlood：自适应洪水正则化

    传统上，神经网络会优化目标函数使得训练损失为零，但最近研究发现设定一个非零训练损失阈值 (即洪水水位) 通常能够实现更好的测试泛化。然而，现有的方法将相同的恒定洪水水位应用于所有训练样本，这在本质上假设所有样本具有相同的难度。本文提出了 AdaFlood，一种新颖的洪水正则化方法，根据样本的难度调整每个训练样本的洪水水位。直观来说，由于训练样本的难度不同，目标训练损失应该与实例有关系。在涵盖文本、图像、异步事件序列和表格等四种不同输入模态的数据集上的实验证明了 AdaFlood 在不同数据领域和噪声水平下的多功能性。

    Nov, 2023

  • 生成对抗网络的一致性正则化

    本文提出了一种基于一致性正则化的简单、有效的 GAN 训练稳定器，通过在 GAN 鉴别器中引入数据扩充并惩罚鉴别器对这些扩充的敏感度，以在不增加显着计算开销的情况下，为无条件和有条件图像生成提供最佳结果。

    Oct, 2019

  • 有限数据下的生成对抗网络正则化

    该论文提出了一种正则化方法来训练健壮的 GAN 模型，使其在有限的训练数据下表现更好，并且在几个基准数据集上的实验证明了该方法在提高泛化性能和稳定学习动态方面的有效性。

    Apr, 2021

  • 正则化生成对抗网络

    本研究论文证明生成式对抗网络的不稳定性和漏模现象源自鉴别器在高位空间内的特殊功能形状，提出了多种正则化目标的解决方案从而实现生成模型的稳定训练并解决数据生成分布的漏模问题。

    Dec, 2016

  • 在达成零训练误差后，我们是否需要零训练损失？

    本研究提出了一种称为 flooding 的解决方案，通过限制训练误差在一个合理的小值范围内，以达到更好的泛化效果，并在实验中证明了有效性。

    Feb, 2020

  • 生成对抗训练可以提高神经语言模型的表现

    本文提出了一种基于生成对抗网络和对抗性训练的正则化方法，可以在神经语言模型中防止过拟合，与常见的对抗性训练方法相比，本方法不需要经过时间的二次反向传播，并且其开销不超过基准方法的 20%。

    Nov, 2022

  • 稳定生成对抗网络：综述

    本文综述了文献中可找到的 GAN 训练稳定方法，讨论了每种方法的优缺点并进行比较总结，最后提出了未解决问题的讨论。

    Sep, 2019

  • 快速对抗训练的理解与改进

    研究深度学习模型中对抗训练的一种新的正则化方法 - GradAlign，可以防止过度拟合并提高 FGSM 的可行性和准确性。该方法主要是通过显式地最大化扰动集合内的梯度对准来实现的。

    Jul, 2020

  • 增强型对抗生成网络正则化和规范化的大规模研究

    本文从实用角度出发，分析评估生成对抗网络的常见错误和可重现性问题，并提供预训练模型。

    Jul, 2018