用 f - 散度最小化训练深度能量模型
通过将能量式模型(EBMs)嵌入到去噪步骤中,将长时间生成的过程分解为几个较小步骤,采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练,以解决对抗性 EBMs 存在的主要挑战,实验证明与现有的对抗性 EBMs 相比,在生成方面有显著的改进,同时为高效密度估计提供了有用的能量函数。
Mar, 2024
本文提出了一种更加高效的 Diffusion Contrastive Divergence 算法,将其作为 Contrastive Divergence 算法的一种特殊实例,并在合成数据建模、图片去噪和生成等方面进行了实验,结果表明新算法在计算效率和生成性能方面都优于传统算法。
Jul, 2023
本文提出了一种双向边界的 Energy-based model 对数似然的优化方法,并且使用 Jacobi-determinant 的新估计器来评估这种边界,从而提高密度估计和样本生成的质量。
Nov, 2021
本文介绍了通过引入扩散数据和使用增强采样算法,通过持续对比散度学习一种联合的能量基模型,称为扩散辅助 - EBM,来实现复杂的,多模态分布的准确采样和密度估计,并进行了 2D 和图像实验,证明了持续训练的 EBMs 可以同时实现长时间稳定性,后训练图像生成和卓越的异常检测。
Apr, 2023
本文提出 Non-Generative EBM 方法作为一种有效的训练方法,可以在保持 EBM 中关键的稳定性和性能的同时,降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。
Apr, 2023
该论文探讨了一种用于训练概率隐变量模型的变分方法,其中结合了最近引入的 Spread Divergence 方法,可以应用于使用任何 f-divergence 训练大量的潜变量模型。
Jul, 2019
本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度,避免了标准对比散度算法中存在的不可控逼近问题,在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。
May, 2023
本文介绍了通过能量差异(ED)这种新型对比损失函数训练离散能量模型(EBMs)的方法,并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。
Jul, 2023