May, 2023

利用 Jarzynski 等式高效训练基于能量的模型

PDF
TL;DR本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度，避免了标准对比散度算法中存在的不可控逼近问题，在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。
energy-based modelscross-entropynonequilibrium thermodynamicssequential monte-carlo samplingunadjusted langevin algorithm
发现论文，激发创造
  • 训练能量基模型的方法

    这篇论文介绍了基于能量的模型（EBM）及其训练方法，包括最大似然训练法和 MCMC 自由法，同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。

    Jan, 2021

  • 使用能量偏差训练离散能量模型

    本文介绍了通过能量差异（ED）这种新型对比损失函数训练离散能量模型（EBMs）的方法，并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。

    Jul, 2023

  • 非生成能量模型

    本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

    Apr, 2023

  • 我不需要 MCMC：分摊采样用于能量模型的快速稳定训练

    本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

    Oct, 2020

  • 四面八方的界限：使用双向界限训练能量模型

    本文提出了一种双向边界的 Energy-based model 对数似然的优化方法，并且使用 Jacobi-determinant 的新估计器来评估这种边界，从而提高密度估计和样本生成的质量。

    Nov, 2021

  • 能量启发模型：采样引导分布学习

    本文研究通过最大化随机抽样分布的似然函数从而获得一类能量启发式模型，这些模型包含了学习能量函数并提供精确样本和可计算的对数似然下界。同时，这些模型对比了不同的随机抽样算法并提供了对噪声对比估计和对比预测编码排名的新见解。

    Oct, 2019

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 用 f - 散度最小化训练深度能量模型

    本文提出了 f-EBM 框架，该框架利用 f 散度来训练 EBM，实验结果表明 f-EBM 的优越性以及使用 f 散度训练 EBM 的好处。

    Mar, 2020

  • 再探能量模型作为策略：排序噪声对比估计和插值能量模型

    通过引入排名噪声对比估计（R-NCE）、可学习的负采样器和非对抗联合训练等关键因素，我们证明了高维连续空间中能量模型在训练时并不是不切实际的，我们的训练算法使能量模型作为策略在多模态路径规划和有接触力量推动等难度较高的基准测试中与扩散模型和其他最先进方法相竞争甚至表现更好。

    Sep, 2023

  • 自适应流抽样平衡训练能量函数模型

    本研究提出一种新的最大似然训练算法，使用正规化流（NF）来提高能量基模型（EBMs）的采样效率及精度。

    Jun, 2023