生成对抗网络的谱归一化

ICLRFeb, 2018

Spectral Normalization for Generative Adversarial Networks

Takeru Miyato, Toshiki Kataoka, Masanori Koyama, Yuichi Yoshida

TL;DR本文提出一种名为谱归一化的新颖权重归一化技术，用于稳定生成对抗网络的鉴别器训练。该方法计算轻便，易于应用于现有的实现，并通过在 CIFAR10、STL-10 和 ILSVRC2012 数据集上的实验验证了其有效性，确认谱归一化 GANs 能够生成更好或同质量的图像相对于之前的训练稳定技术。

Abstract

One of the challenges in the study of generative adversarial networks is the instability of its training. In this paper, we propose a novel weight normalization technique called →

generative adversarial networks spectral normalization training gans image generation

发现论文，激发创造

生成对抗网络的梯度归一化

本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。

Sep, 2021

关于具有谱控制的 GAN 的计算和泛化

通过引入新的重新参数化方法和对权重矩阵的光谱进行控制，使生成对抗网络在图像生成方面取得了更好的表现。

Dec, 2018

通过谱归一化来实现可推广性对抗性训练

本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。

Nov, 2018

GAN 的稀疏感知归一化

本文提出了一种新的归一化方法（SAN），并通过大量实验证明，与现有的方法相比，SAN 能够在 GAN 的训练中取得更好的效果。SAN 考虑了稀疏性，并且在 ReLU 激活的卷积网络中特别有效，并且在图像到图像翻译任务中表现出更好的性能，并且能够在较少的训练时期内以及较小的容量网络中发挥作用，而且几乎不需要计算开销。

Mar, 2021

生成对抗网络的一致性正则化

本文提出了一种基于一致性正则化的简单、有效的 GAN 训练稳定器，通过在 GAN 鉴别器中引入数据扩充并惩罚鉴别器对这些扩充的敏感度，以在不增加显着计算开销的情况下，为无条件和有条件图像生成提供最佳结果。

Oct, 2019

ABCAS: 自适应边界控制谱范数作为自动稳定器

本文提出一种名为 ABCAS 的自适应正则化方法，根据真实数据和仿冒数据之间的距离确定判别器的 Lipschitz 常数，从而提高生成对抗网络的训练稳定性并获得更好的生成图像的 Fréchet Inception Distance 得分。同时，研究了三个数据集的适宜的谱范数，并将结果作为削弱实验的结果显示。

Nov, 2022

对抗生成网络中的模式崩溃问题进行光谱正则化

本论文提出了一种新的有效方法 —— 谱规则化（SR-GANs）来解决生成对抗网络（GANs）中的模式崩溃问题，并通过理论分析和大量实验结果展示了 SR-GANs 的有效性与优越性。

Aug, 2019

用谱范数正则化来提高深度学习的普适性

本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。

May, 2017

生成对抗网络的惩罚梯度归一化

本文提出了一种新的归一化方法 —— 惩罚梯度归一化（PGN），用于解决由于尖锐梯度空间导致的生成敌对网络（GAN）的训练不稳定性。通过对判别函数施加惩罚梯度约束，提高了鉴别器的能力，可以在不同的 GAN 架构上应用而无需进行多少修改，广泛的实验表明，penalty gradient normalization 可以提高 GAN 的性能。

Jun, 2023

用于数据稀缺光谱应用的生成对抗网络

本文介绍了生成对抗网络在合成光谱数据方面的应用，提出了改进的 Wasserstein GANs 来避免模型崩溃，并证明了利用 CWGAN 数据增强可充分提高性能，同时显示 CWGAN 在低数据量条件下可作为简单 FFNN 的代理模型。

Jul, 2023