通过判别器梯度流完善深度生成模型
该研究使用增量算法AdaGAN训练Generative Adversarial Networks(GAN)来解决GAN模型中出现的missing modes问题,并且证明了当每一步是最优的时候,这种增量方法可以在有限步数内收敛到真实分布,否则以指数速度收敛。
Jan, 2017
该研究提出了一种新的方法来减少GANs中的模式坍塌问题,即通过引入一种通用的置换不变鉴别器架构来训练一个预测混合批的真假样本比例的不变鉴别器得分来代替传统方式评估单个样本的鉴别器。实验证明,在两个合成数据集上,这种方法有效地减少了模式坍塌,而在CIFAR10和CelebA数据集上得到了良好的定性和定量结果。
Jun, 2018
提出 VGrow 框架来学习深度生成模型,通过 $f$-divergence 进行梯度流,使用 logD-trick GAN 来作为新的目标函数评估不同的散度,结果表明 VGrow 可以生成高保真图像并且表现优异。
Jan, 2019
本文介绍了区分度对比散度方法,该方法基于 WGANs 的判别器性质和 WGANs 与能量基模型之间的关系,并利用 WGANs 判别器所包含的信息来提高图像生成的质量。我们使用随机梯度的方式实现判别器对样本密度比率的估计,然后在 Langevin 动力学的多个时间步骤中生成样本。在合成数据和实际图像生成基准测试方面,我们证明了这种改进可以显著提高图像生成。
Apr, 2020
本文提出了一种名为FDRL的方法,它采用渐进式学习,解决了由于分布差异导致的密度差距问题,可以生成高达$128 imes128$尺寸的图像,且在定量基准测试上优于现有的梯度流算法。
Mar, 2023
本研究提出了一种基于评分差异流的新方法,该方法通过最优降低Kullback-Leibler距离来将源分布向目标分布推进,该方法在处理生成建模三难题(高样本质量,模式覆盖和快速采样)时具有潜在的应用价值。
Apr, 2023
建议了一个统一理论框架,将基于得分的扩散模型和生成对抗网络合并起来,提出了一个名为“鉴别器去噪扩散流”的新SDE,通过调整不同得分项之间的相对权重,可以在SDMs和GANs之间实现平滑转换,同时保持边际分布不变,提供了新的算法,并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。
Jul, 2023
对GANs和VAEs进行贝叶斯非参数方法的融合,使用Wasserstein和最大均值差异度量在损失函数中结合以学习潜在空间并生成多样且高质量的样本,实现在异常检测和数据增强等各种生成任务中卓越性能的新型模型,进一步通过在代码空间中引入额外的生成器来增强模型的能力,可用于各种应用的更强大的生成模型。
Aug, 2023
我们提出了一种梯度流程用于生成建模,通过将粒子从初始源分布传输到目标分布,其中粒子上的梯度场由噪声自适应最大均值差异 (MMD) 的梯度给出。我们称该方法为扩散-MMD-梯度流或DMMD。该方法不需要对抗性训练,而与生成对抗网络 (GAN) 中的判别器训练相关。我们在CIFAR10、MNIST、CELEB-A (64 x64)和LSUN Church (64 x 64)的无条件图像生成中获得了具有竞争力的实证性能,并在MMD被KL散度的下界替代时证明了该方法的有效性。
May, 2024