能量基生成对抗网络的校准
介绍了一种名为 “能量基生成对抗网络”(EBGAN)的模型,将判别器视为能量函数,用于选定数据流形附近区域的低能量和其他区域的高能量,可以使用多种体系结构和损失函数,本文采用自编码器架构,以重构误差作为能量,实现了高分辨率图像的生成。
Sep, 2016
本论文提出了一种利用生成对抗网络(GAN)和基于深度神经网络的生成模型来代替 MCMC 模型的方法,通过训练这种模型生成的采样分布近似匹配待训练的能量函数。
Jun, 2016
使用生成对抗网络的方法学习自然语言文件的分布式表征,并提出一种基于最近提出的基于能量的 GAN 的模型,但使用去噪自编码器作为鉴别器网络,从鉴别器的隐藏层中提取文件表示,并在定量和定性方面进行评估。
Dec, 2016
该论文研究了深度生成模型在有效的无监督学习中的应用,提出了 VGAN 模型,通过最小化能量密度函数的负对数似然的变分下界,使得模型能够用 Variational Distribution 进行采样,从而可以更方便地训练模型。
Nov, 2016
本研究连接了利用对抗训练 (adversarial training,AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models,EBM),通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现,令人惊讶的是,输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据:未定向攻击比自然数据甚至更可能出现,当攻击强度增强时,它们的可能性也会增加。这使得我们能够轻松检测它们,并设计了一种名为 High-Energy PGD 的新型攻击方法,它能欺骗分类器但具有与数据集相似的能量。
Apr, 2023
本文提出了一种使用 Kullback-Leibler 项的方法来比较生成数据和真实数据的分布,以改进生成对抗网络在生成模型中的性能。
Jun, 2023
通过将能量式模型(EBMs)嵌入到去噪步骤中,将长时间生成的过程分解为几个较小步骤,采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练,以解决对抗性 EBMs 存在的主要挑战,实验证明与现有的对抗性 EBMs 相比,在生成方面有显著的改进,同时为高效密度估计提供了有用的能量函数。
Mar, 2024
提出一个基于对抗生成网络的新模型 RegGAN,该模型可以在生成样本的同时训练三个网络 —— 一个生成器和两个判别器,以便从与训练集概率分布不同的概率分布中生成样本,并可用于学习拓扑学中的某些先验概念。
Feb, 2021
使用神经生成网络学习能量函数和一种分摊求近似(amortized approximate)的采样机制,结合最近提出的非参数互信息估计器来最大化生成样本的熵,使用必要条件从分数匹配(score matching)文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像,不会出现模式崩溃,并且在异常检测方面具有与现有技术相媲美的竞争力。
Jan, 2019
本文提出了一种新颖的能量校准生成模型,该模型利用条件 EBM 来增强变分自动编码器(VAEs)的性能,针对 VAEs 在生成方向上训练不足而导致生成结果模糊的问题,以及 EBMs 需要昂贵的马尔可夫链蒙特卡罗(MCMC)采样的问题,我们引入了条件 EBM 用于训练时校准生成方向,而不需要在测试时进行采样,这样的方法使得生成模型能够根据数据和校准样本进行自适应加权的训练,从而提高了效率和效果,而不需要在推理阶段进行 MCMC 采样,我们还展示了该方法可以扩展到校准归一化流和变分后验,并提出将该方法应用于基于神经传输先验和零射图像恢复,通过广泛的实验在图像生成和零射图像恢复等各种应用中证明了该方法的有效性,我们的方法在单步非对抗式生成方面展现了最先进的性能。
Nov, 2023