生成对抗网络的惩罚梯度归一化

Jun, 2023

Penalty Gradient Normalization for Generative Adversarial Networks

Tian Xia

TL;DR本文提出了一种新的归一化方法 —— 惩罚梯度归一化（PGN），用于解决由于尖锐梯度空间导致的生成敌对网络（GAN）的训练不稳定性。通过对判别函数施加惩罚梯度约束，提高了鉴别器的能力，可以在不同的 GAN 架构上应用而无需进行多少修改，广泛的实验表明，penalty gradient normalization 可以提高 GAN 的性能。

Abstract

In this paper, we propose a novel normalization method called penalty gradient normalization (PGN) to tackle the training instability of Generative Adversarial Networks (GANs) caused by the sharp gradient space. Unlike existing work such as gradient penalty and spectral normalization,

penalty gradient normalization generative adversarial networks training instability discriminator function frechet inception distance

发现论文，激发创造

生成对抗网络的梯度归一化

本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。

Sep, 2021

从最大间隔的视角看梯度惩罚

该论文提出了一个统一的框架来解释和证明采用梯度惩罚的生成式对抗网络（GANs）的有效性，该框架基于最大化期望的边界和采用 L-infinity 梯度范数和铰链损失惩罚方法对 GANs 进行优化会提高生成样本的质量并减少梯度消失等问题。

Oct, 2019

提高生成对抗网络的泛化能力和稳定性

本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。

Feb, 2019

生成对抗网络的谱归一化

本文提出一种名为谱归一化的新颖权重归一化技术，用于稳定生成对抗网络的鉴别器训练。该方法计算轻便，易于应用于现有的实现，并通过在 CIFAR10、STL-10 和 ILSVRC2012 数据集上的实验验证了其有效性，确认谱归一化 GANs 能够生成更好或同质量的图像相对于之前的训练稳定技术。

Feb, 2018

惩罚梯度范数以有效提高深度学习的推广性能

本文提出通过附加惩罚损失函数的梯度范数来提高深度神经网络的泛化性能，使用我们的方法可以改善不同数据集上的各种模型的泛化性能，并且最佳情况下可在这些任务上提供新的最先进性能。

Feb, 2022

GNP 攻击：通过梯度范数惩罚产生可迁移的对抗样本

通过梯度范数惩罚的新方法大大提高了对抗样本的可传递性，使其能够在各种目标模型上进行黑盒攻击，对源模型的体系结构和特征表示的拟合度较低，同时也能与其他基于梯度的方法进行整合以实现更强的基于传递的攻击。

Jul, 2023

生成对抗网络的一致性正则化

本文提出了一种基于一致性正则化的简单、有效的 GAN 训练稳定器，通过在 GAN 鉴别器中引入数据扩充并惩罚鉴别器对这些扩充的敏感度，以在不增加显着计算开销的情况下，为无条件和有条件图像生成提供最佳结果。

Oct, 2019

概率生成对抗网络

本篇文章介绍了基于概率生成对抗网络 (PGAN) 的新型 GAN 变体，它将概率模型 (在本例中是高斯混合模型) 整合到 GAN 框架中，从而支持一种新的损失函数，并提供一种有意义的衡量网络生成输出质量的方法，实验证明 MNIST 数据集的 PGAN 能够生成逼真的图像并计算出与生成图像质量相关的似然度，同时 PGAN 在处理 GAN 训练过程中通常存在的稳定性问题方面具有更好的性能。

Aug, 2017

关于在 GANs 中高效、无偏的实现 Lipschitz 连续性

本文提出一种新的方法代替传统的梯度惩罚法和谱标准化法，通过实验证明该方法可以取得成功的训练稳定性和样本质量。

Apr, 2019

GAN 的稀疏感知归一化

本文提出了一种新的归一化方法（SAN），并通过大量实验证明，与现有的方法相比，SAN 能够在 GAN 的训练中取得更好的效果。SAN 考虑了稀疏性，并且在 ReLU 激活的卷积网络中特别有效，并且在图像到图像翻译任务中表现出更好的性能，并且能够在较少的训练时期内以及较小的容量网络中发挥作用，而且几乎不需要计算开销。

Mar, 2021