本文提出了一种在生成对抗网络中产生直接能量估计样本的方法,并证明该方法不仅可以确保生成器收敛到真实数据分布,而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式,并分析其性质。为了使所提出的框架在实践中可训练,我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配,证明辨别器能够恢复数据分布的能量。
Feb, 2017
本文研究了两个生成模型的协作训练,利用卷积神经网络 (ConvNets) 来进行图像建模和合成,并探究了如何将 MCMC 采样算法无缝地融入协作学习算法中,成功地实现了两个模型的同步训练,从而学习到高度真实的生成模型。
Sep, 2016
本文提出了一种多网格方法,用于学习基于能量的图像生成 ConvNet 模型,展示了其在生成更逼真的图像方面优于原始的对比散度和连续对比散度。
Sep, 2017
本文介绍了倍增随机梯度 MCMC 这一简单通用的方法,用于在折叠的连续参数空间中对深度生成模型进行(近似)贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务,还可以用于缺失数据的填充,且在性能方面优于许多现有的竞争对手。
Jun, 2015
本文研究了 Markov 链蒙特卡罗采样在无监督最大似然学习中的效果,发现使用 ConvNet 势函数训练的最小框架可以实现高质量的短时合成,同时使用正确的 Langevin 噪声调整可以实现长时稳定采样;但使用收敛困难的 MCMC 训练 ConvNet 将导致样本失真。
Mar, 2019
通过将能量式模型(EBMs)嵌入到去噪步骤中,将长时间生成的过程分解为几个较小步骤,采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练,以解决对抗性 EBMs 存在的主要挑战,实验证明与现有的对抗性 EBMs 相比,在生成方面有显著的改进,同时为高效密度估计提供了有用的能量函数。
Mar, 2024
使用神经生成网络学习能量函数和一种分摊求近似(amortized approximate)的采样机制,结合最近提出的非参数互信息估计器来最大化生成样本的熵,使用必要条件从分数匹配(score matching)文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像,不会出现模式崩溃,并且在异常检测方面具有与现有技术相媲美的竞争力。
Jan, 2019
本文提出了一种基于能量的生成流网络 (EB-GFN) 概率建模算法,该算法通过随机构造数据策略来建模生成过程,并将昂贵的 MCMC 探索在从 GFlowNet 中采样的固定数量的操作中分摊开来。我们展示了 GFlowNet 如何近似执行大块 Gibbs 采样以在多个模式之间混合。我们提出了一个框架,共同训练 GFlowNet 与能量函数,使 GFlowNet 学习从能量分布中采样,而能量则通过从 GFlowNet 中获得负样本的近似 MLE 目标进行学习。我们展示了 EB-GFN 在各种概率建模任务中的有效性。
Feb, 2022
本文提出了一种能学习非确定性表示的 stochastic ensemble 模型,通过从模型集合中有条件地采样,能够获得每个输入示例的多个表示,并在 MNIST 的 one-shot learning 场景中进行了测试。
Dec, 2014
本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术,在许多高维度数据域上,如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型,并接近当代生成对抗网络 GAN 的表现,同时覆盖所有数据模态。此外,作者还阐述了基于 EBM 的独特能力,如组合性和损坏图像的重建和修复,最后证明 EBMs 模型是跨多种任务有用的模型,进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹