基于能量的生成对抗网络
本文提出了一种在生成对抗网络中产生直接能量估计样本的方法,并证明该方法不仅可以确保生成器收敛到真实数据分布,而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式,并分析其性质。为了使所提出的框架在实践中可训练,我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配,证明辨别器能够恢复数据分布的能量。
Feb, 2017
该论文研究了深度生成模型在有效的无监督学习中的应用,提出了 VGAN 模型,通过最小化能量密度函数的负对数似然的变分下界,使得模型能够用 Variational Distribution 进行采样,从而可以更方便地训练模型。
Nov, 2016
本研究连接了利用对抗训练 (adversarial training,AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models,EBM),通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现,令人惊讶的是,输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据:未定向攻击比自然数据甚至更可能出现,当攻击强度增强时,它们的可能性也会增加。这使得我们能够轻松检测它们,并设计了一种名为 High-Energy PGD 的新型攻击方法,它能欺骗分类器但具有与数据集相似的能量。
Apr, 2023
提出了一种用于离散数据训练生成式对抗网络(GANs)的方法,称为边界寻找 GANs(BGANs)。该方法利用鉴别器估计的差异度量计算生成样本的重要性权重,为训练生成器提供了策略梯度,并证明了该算法在离散图像和字符基自然语言生成方面具有很好的效果。此外,目标函数可以扩展到连续的数据集,可用于提高训练的稳定性,并证明了在 Celeba、LSUN 卧室场景理解和 Imagenet 数据集上,该方法的实用性。
Feb, 2017
使用生成对抗网络的方法学习自然语言文件的分布式表征,并提出一种基于最近提出的基于能量的 GAN 的模型,但使用去噪自编码器作为鉴别器网络,从鉴别器的隐藏层中提取文件表示,并在定量和定性方面进行评估。
Dec, 2016
本文提出了一种新的 GAN 框架,名为进化生成对抗网络 (E-GAN),该框架使用不同的对抗训练目标作为突变操作,通过进化一群生成器来适应环境 (判别器) 以实现稳定的 GAN 训练和改进的生成能力,并利用评估机制来衡量生成样本的质量和多样性,从而始终保留最佳基因用于进一步的训练,从而提高了 GAN 的整体训练效果和生成性能。
Mar, 2018
本篇论文阐述了生成对抗网络(GAN)中的成本函数学习与强化学习(RL)中的逆向强化学习(IRL)方法之间的数学等价性,强调 GAN 是能量基模型的一种训练算法,这一发现能够让这三个领域的研究人员在互相借鉴中更好地发掘可转移的思想,尤其是为了开发更加稳定和可扩展的算法。
Nov, 2016
本篇论文提供了一个新的原则,即利用生成模型的层次结构将自编码器与生成对抗网络相结合,以防止学习到的生成模型中的模式崩溃,并使用区分器学习合成可能性和隐式后验分布。
Jun, 2017
使用自编码器的生成式对抗网络,并采用基于 Wasserstein 距离的一种新的平衡策略进行训练,实现了高分辨率图像的高质量生成,并在图像多样性和视觉质量之间实现了平衡。
Mar, 2017