May, 2024

生成对抗学习中的最佳输入维度和自适应生成器架构

PDF
TL;DR通过广义生成对抗网络（G-GANs）框架中引入的群惩罚和体系结构惩罚的方法，我们研究了输入维度对生成对抗网络（GANs）泛化误差的影响，发现存在一种最优输入维度（OID）可以最小化泛化误差，而通过降维和生成器网络结构的自动调整，G-GANs 在估计和预测的稳定性和准确性方面得到了显著提升，并在模拟和基准数据上展示了出色的性能。
generative adversarial networksinput dimensiongeneralization errorgeneralized gansdimensionality reduction
发现论文，激发创造
  • 提高生成对抗网络的泛化能力和稳定性

    本文通过分析实际情景下 GAN 的泛化能力，证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差，并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力，并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验，验证了理论分析的正确性。

    Feb, 2019

  • 关于生成对抗模型在低内在数据维度下的统计特性

    尽管生成对抗网络（GANs）在实证方面取得了显著的成功，但其统计准确性的理论保证仍然相对悲观。本论文试图在理论和 GANs 以及双向 GANs（BiGANs）的实践之间架起桥梁，通过推导出关于估计密度的统计保证，以数据的固有维度和潜在空间为基础。

    Jan, 2024

  • GAN 的最佳精度

    研究深度生成模型的潜在空间几何结构及优化条件，通过实验提出限制方法，提高生成对抗网络的性能。

    Jul, 2022

  • 深度生成图像模型的几何学及其应用

    本文基于几何学的角度探究 GAN 潜在空间的性质和图像变异机制，并提出一种基于网络结构的方法计算 GAN 图像多丽安流形的黎曼度量，这一方法可以有效地优化潜在空间的优化等应用，并便于解释变换维度。

    Jan, 2021

  • LOGAN: 生成对抗网络的潜在优化

    利用自然梯度基于潜在空间的优化改进了 CS-GAN 模型，增强了模型的生成器和辨别器之间的互动，通过在 ImageNet 数据集上的实验表明，该方法在生成对抗网络训练中可显著提高模型性能。

    Dec, 2019

  • 生成对抗网络学习分布的误差分析

    本文研究了生成对抗网络（GAN）如何从有限样本中学习概率分布，得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率，并证明了当网络结构适当选择时，GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布，我们展示了 GAN 的学习速率不取决于高环境维度，而取决于较低的内在维度。我们的分析基于一种新的神谕不等式，将估计误差分解为生成器和鉴别器逼近误差和统计误差，这可能是具有独立研究价值的。

    May, 2021

  • EigenGAN: 为 GANs 层级提供的特征值学习

    该论文提出了 EigenGAN，它可以从不同的生成器层无监督地挖掘可解释的和可控制的维度，以控制生成影像的语义属性。利用线性子空间的概念，EigenGAN 可以发现每一层的一组特征维度与某些可解释的变量对应，并通过这些维度进行语义属性的控制 —— 例如，语义上的高级概念如姿态和性别对应于深层的子空间，颜色等低级概念则对应于浅层的子空间。线性情况下，该算法得到的主要维度和 PCA 一样。

    Apr, 2021

  • 生成对抗网络的梯度归一化

    本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。

    Sep, 2021

  • 生成网络的潜空间优化

    本文介绍了生成对抗网络的成功因素，并提出 “生成潜在优化” 框架来训练深度卷积生成器，实现了可视化合成、样本插值等功能，同时不需要对抗优化方案。

    Jul, 2017

  • 生成式对抗网络中多维辨别器输出的再思考

    本文介绍了多维鉴别器输出在生成对抗网络中的应用，借助最大的 p - 中心性差异探究了其性质，并提出了平方根速度转换块，进一步加快了多维度情况下的训练。理论证明和实验结果都表明，高维度的鉴别器输出有助于区分真实和伪造的分布，并有利于更快的收敛和多样化的结果。

    Sep, 2021