May, 2018

MMD GANs 的梯度正则化

PDF
TL;DR本文提出了一种基于 MMD 核的 GAN 模型正则化的梯度的原则性方法，证明控制批评者的梯度对于有意义的损失函数至关重要，并设计了一种方法来实施精确、分析梯度约束，使得新的损失函数具有连续性，并证明实验表明它可以稳定和加速训练，为 160 x 160 的 CelebA 数据集和 64 x 64 的无条件 ImageNet 数据集上的图像生成模型提供了优于现有方法的性能。
ganregularizationgradientmmdimage generation
发现论文，激发创造
  • 解密 MMD GANs

    通过使用最大均值差异（MMD）作为批判家来研究生成对抗网络的训练和性能，我们澄清了最近的工作中提出的 GAN 损失函数中的偏差问题，并讨论了 MMD 批判家的内核选择问题，提出了改进的 GAN 收敛度量，核启动距离，并展示如何在 GAN 训练期间使用它动态调整学习速率。

    Jan, 2018

  • 利用排斥损失函数提高 MMD-GAN 的训练

    该研究针对 GAN 使用 MMD 作为损失函数进行了改进，提出了具有排斥作用的损失函数和一种边界高斯核，用于稳定 MMD-GAN 的训练，实验结果表明该方法在无监督图像生成任务上表现良好，取得了 16.21 的 FID 分数。

    Dec, 2018

  • 无对抗训练的深度最大均值差梯度流

    我们提出了一种梯度流程用于生成建模，通过将粒子从初始源分布传输到目标分布，其中粒子上的梯度场由噪声自适应最大均值差异 (MMD) 的梯度给出。我们称该方法为扩散 - MMD - 梯度流或 DMMD。该方法不需要对抗性训练，而与生成对抗网络 (GAN) 中的判别器训练相关。我们在 CIFAR10、MNIST、CELEB-A (64 x64) 和 LSUN Church (64 x 64) 的无条件图像生成中获得了具有竞争力的实证性能，并在 MMD 被 KL 散度的下界替代时证明了该方法的有效性。

    May, 2024

  • MMD GAN: 基于矩匹配网络的深度理解

    通过引入对抗内核学习技术，提出了一种改进的生成矩匹配网络 MMD-GAN，它能够显著提高模型的表达性和计算效率，并在多个基准数据集上表现优异。

    May, 2017

  • 通过优化的最大均值差异实现生成模型和模型评估

    本研究提出了一种基于最大均值差异（MMD）的统计检验来最大化两个概率分布样本的表示和区分度的优化方法，并将其应用于生成对抗网络（GAN）的无监督学习设置中，在其中，MMD 可以用作两种角色：一是直接对样本或样本特征作为鉴别器使用，二是通过将模型样本与参考数据集比较来评估生成模型的性能。

    Nov, 2016

  • GAN 中的隐式竞争正则化

    为了提高 GAN 训练的稳定性，本文提出了隐式竞争规则作为稳定 GAN 的一种解决方法，该方法可通过对生成器和鉴别器的对抗建模来显著增强隐式竞争规则，提升 WGAN-GP 的 inception score，实现无显式正则化的高效 GAN 训练。

    Oct, 2019

  • 正则化生成对抗网络

    本研究论文证明生成式对抗网络的不稳定性和漏模现象源自鉴别器在高位空间内的特殊功能形状，提出了多种正则化目标的解决方案从而实现生成模型的稳定训练并解决数据生成分布的漏模问题。

    Dec, 2016

  • 基于最大均值差异（MMD）统计量的集中不等式及其在生成模型中的应用

    我们提出了一种均匀集中不等式，用于一类基于最大均值差异（MMD）的估计器的理论分析，特别是在生成模型中的应用。我们将该结果应用于最小 MMD 估计器和 MMD GAN 的泛化误差界的推导

    May, 2024

  • MCGAN：基于回归的生成器损失增强的 GAN 训练

    生成对抗网络（GAN）已经成为一种生成高保真数据的强大工具，并且采用监督方法提出了 Monte Carlo GAN（MCGAN）算法，以解决现有方法在生成器训练上缺乏监督导致的振荡与性能不佳的问题，并且数值结果表明 MCGAN 在质量、准确性、训练稳定性和学习潜在空间等方面明显且一致地改进了现有的 GAN 模型。

    May, 2024

  • 生成比率匹配网络

    提出了一种新的训练深度生成模型的方法 ——Generative ratio matching (GRAM)，通过使用固定核函数而非生成器和评价器网络在鞍点优化方面的博弈来训练生成模型。结果表明，GRAM 网络不仅像 MMD-net 那样稳定易训练，而且在生成质量上也能与经过对抗训练的生成网络相媲美甚至超越。

    May, 2018