Nov, 2022

ABCAS: 自适应边界控制谱范数作为自动稳定器

PDF
TL;DR本文提出一种名为 ABCAS 的自适应正则化方法，根据真实数据和仿冒数据之间的距离确定判别器的 Lipschitz 常数，从而提高生成对抗网络的训练稳定性并获得更好的生成图像的 Fréchet Inception Distance 得分。同时，研究了三个数据集的适宜的谱范数，并将结果作为削弱实验的结果显示。
spectral normalizationgenerative adversarial networkabcaslipschitz constantfréchet inception distance
发现论文，激发创造
  • 生成对抗网络的谱归一化

    本文提出一种名为谱归一化的新颖权重归一化技术，用于稳定生成对抗网络的鉴别器训练。该方法计算轻便，易于应用于现有的实现，并通过在 CIFAR10、STL-10 和 ILSVRC2012 数据集上的实验验证了其有效性，确认谱归一化 GANs 能够生成更好或同质量的图像相对于之前的训练稳定技术。

    Feb, 2018

  • 生成对抗网络的梯度归一化

    本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。

    Sep, 2021

  • 生成对抗网络的一致性正则化

    本文提出了一种基于一致性正则化的简单、有效的 GAN 训练稳定器，通过在 GAN 鉴别器中引入数据扩充并惩罚鉴别器对这些扩充的敏感度，以在不增加显着计算开销的情况下，为无条件和有条件图像生成提供最佳结果。

    Oct, 2019

  • 关于具有谱控制的 GAN 的计算和泛化

    通过引入新的重新参数化方法和对权重矩阵的光谱进行控制，使生成对抗网络在图像生成方面取得了更好的表现。

    Dec, 2018

  • GAN 的稀疏感知归一化

    本文提出了一种新的归一化方法（SAN），并通过大量实验证明，与现有的方法相比，SAN 能够在 GAN 的训练中取得更好的效果。SAN 考虑了稀疏性，并且在 ReLU 激活的卷积网络中特别有效，并且在图像到图像翻译任务中表现出更好的性能，并且能够在较少的训练时期内以及较小的容量网络中发挥作用，而且几乎不需要计算开销。

    Mar, 2021

  • 通过生成对抗网络修正模型错误规范

    提出了一种基于 ABC-GAN 框架的模型来纠正似然函数错误设定问题，并通过实验证明其能够消除错误设定，同时在低数据条件下表现良好。

    Apr, 2023

  • 通过谱归一化来实现可推广性对抗性训练

    本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。

    Nov, 2018

  • 关于在 GANs 中高效、无偏的实现 Lipschitz 连续性

    本文提出一种新的方法代替传统的梯度惩罚法和谱标准化法，通过实验证明该方法可以取得成功的训练稳定性和样本质量。

    Apr, 2019

  • 基于 PAC-Bayes 的谱归一化界限用于对抗鲁棒泛化

    深度神经网络容易受到对抗性攻击的影响，本研究聚焦于鏈基于 PAC-Bayes 方法的基于范数复杂性，并提供了一种光谱正则化的鲁棒泛化边界，相比现有边界，该边界不依赖于额外假设且更加紧致，进一步将结果拓展到抵抗一般非 l_p 攻击和其他神经网络架构。

    Oct, 2023

  • 使用控制理论理解和稳定 GAN 的训练动态

    运用控制理论中的闭环控制方法，通过直接建模 GANs 功能空间中的动力学模型，提出了一种稳定 GANs 训练的方法，并取得了最先进的数据生成任务性能。

    Sep, 2019