生成对抗网络的误差分析
本文旨在为数学家提供适用的 GANs 理论解释,概述 GANs 的训练问题和拓扑学和博弈论视角如何贡献于我们理解和实践 GANs 的技术的正面和反面结果。
Jun, 2018
本文研究了生成对抗网络(GAN)如何从有限样本中学习概率分布,得到了 GAN 在一组 H"older 类定义的积分概率度量下的收敛速度和 Wasserstein 距离特殊情况下的学习率,并证明了当网络结构适当选择时,GAN 能够自适应地学习低维结构或具有 H"older 密度的数据分布。特别是对于集中在低维集合周围的分布,我们展示了 GAN 的学习速率不取决于高环境维度,而取决于较低的内在维度。我们的分析基于一种新的神谕不等式,将估计误差分解为生成器和鉴别器逼近误差和统计误差,这可能是具有独立研究价值的。
May, 2021
本文研究了生成对抗网络在逼近目标分布时的两个基本问题:限制鉴别器家族对近似质量的影响和不同目标函数的收敛条件与分布收敛之间的关系。定义了对抗分歧的概念,证明了使用受限制的鉴别器家族具有矩匹配效应,并且对于严格对抗性分歧的目标函数,证明了目标函数上的收敛蕴含着弱收敛。
May, 2017
研究了使用基于核的判别器训练生成式对抗网络的梯度下降 - 上升过程,通过线性化的非线性动态系统描述方法,探究了学习率、正则化和核判别器带宽对该过程的局部收敛速度的影响,提出了系统收敛、振荡和发散的阶段转换点,并通过数值模拟验证了结论。
May, 2023
本文通过分析数学和统计学特性,研究生成式对抗网络与 Jensen-Shannon 散度的深刻联系,并提供鉴别器族群的逼近论证及样本估计分布的大样本性质,特别地证明了中心极限定理。
Mar, 2018
本文通过分析实际情景下 GAN 的泛化能力,证明了原始 GAN 的损失函数训练得到的鉴别器的泛化能力较差,并提出了一种零中心梯度惩罚策略以改善鉴别器的泛化能力,并保证 GAN 的收敛和泛化。通过在合成和大规模数据集上的实验,验证了理论分析的正确性。
Feb, 2019
本文提出了关于生成对抗网络(GANs)的分析和训练方案的新理论框架,揭示了以前分析的一个基本缺陷,解决了定义不明确的判别器梯度的问题,通过利用判别器的无限宽度神经网络理论并表征训练后的判别器以及进行各种损失的实验证明结果。
Jun, 2021
本文对生成对抗网络(GAN)进行了分析,特别是统计推理这一过程的理论特征,提出了一种简单形式的 GAN,称为受限 f-GANs,发现线性 KL-GANs 的最优生成器所推断出的分布是最大似然与矩法解的有趣组合。
Sep, 2018
本文提出了一种新的基于随机化决策规则的 GAN 公式,其中鉴别者收敛于一个固定点,而生成器则收敛于 Nash 均衡下的分布,通过随机梯度 Markov 链蒙特卡罗算法以及相应的模拟方法,得到了一种有效的支撑算法。
Jun, 2023