Oct, 2023

STANLEY：基于随机梯度异向 Langevin 动力学的能量模型学习

PDF
TL;DR我们在本文中提出了 STANLEY，这是一种用于高维数据采样的随机梯度非各向同性 Langevin 动力学方法。通过能量基建模，我们介绍了一种用于改善采样数据质量的端到端学习算法，同时考虑了 EBM 训练中未知的归一化常数和 MCMC 方法。我们的方法 STANLEY 是一种通过我们新提出的 MCMC 方法来训练能量基模型的优化算法，并通过实验证明了其有效性。
stanleyenergy-based modelingmarkov chain monte carlohigh dimensional sampling methodconvolutional neural network
发现论文，激发创造
  • 随机梯度马尔可夫链蒙特卡罗下的非凸贝叶斯学习

    本论文主要研究基于非凸贝叶斯学习问题的人工智能、深度神经网络、Langevin Monte Carlo、动态重要性抽样等方面的算法和理论，包括控制变量减少噪声能量估计器方差、基于非可逆性的群链复制交换等算法及解决梯度消失问题的动态重要性抽样等，旨在提高大数据情况下的效率与稳定性。

    May, 2023

  • 基于 MCMC 的最大似然能量模型学习解剖学

    本文研究了 Markov 链蒙特卡罗采样在无监督最大似然学习中的效果，发现使用 ConvNet 势函数训练的最小框架可以实现高质量的短时合成，同时使用正确的 Langevin 噪声调整可以实现长时稳定采样；但使用收敛困难的 MCMC 训练 ConvNet 将导致样本失真。

    Mar, 2019

  • 随机安全性的计算成本

    本文探讨了使用长时程持续 Chain Monte Carlo 模拟 Langevin 动力学是否能提高能量模型（EBM）所达到的表示质量。通过对训练好的 EBM 执行扩散过程的 Monte Carlo 模拟，并使用改进的对抗鲁棒性和独立分类器网络的校准分数方案，结果表明增加持续对比散度中的 Gibbs 抽样计算预算可以提高模型的校准和对抗鲁棒性，在实现从连续能量势中高效采样的新量子和经典硬件和软件方面具有实用价值。

    May, 2023

  • 我不需要 MCMC：分摊采样用于能量模型的快速稳定训练

    本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

    Oct, 2020

  • 非生成能量模型

    本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

    Apr, 2023

  • 具有非牛顿动量的哈密顿动力学用于快速采样

    提出了一种基于 Hamiltonian 动力学的新型采样方法，这种方法通过非牛顿动量在超过状态空间中的确定性动力学下，从指定的能量函数中精确地采样出目标分布，比传统的 MCMC 方法收敛更快且无需随机步骤，并且可以用现有的 ODE 解算器求解。

    Nov, 2021

  • 通过随机梯度巴克动力学实现鲁棒的近似采样

    此研究介绍了随机梯度贝克动力学（SGBD）算法，通过扩展最近开发的贝克马尔科夫链蒙特卡洛（MCMC）方案为随机梯度框架，实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明，相比流行的随机梯度 Langevin 动力学算法，SGBD 在超参数调整和目标梯度的不规则行为方面表现更为稳健。

    May, 2024

  • 使用变分自编码器作为分摊采样器学习基于能量的模型

    通过学习用于初始化 MCMC 的变分自编码器，实现了宏观的 EBM 采样，并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。

    Dec, 2020

  • 通过双 MCMC 教学学习基于能量的模型

    本文研究了基于能量的模型（EBM）的基本学习问题，通过最大似然估计（MLE）和生成模型的联合训练来提高 EBM 的学习效果。

    Dec, 2023

  • 利用 Jarzynski 等式高效训练基于能量的模型

    本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度，避免了标准对比散度算法中存在的不可控逼近问题，在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。

    May, 2023