Feb, 2024

基于梯度的离散采样与自动周期调度

PDF
TL;DR多模离散分布的高效准确采样中，我们提出了一种自动循环调度方法，其中包括循环步长调度、循环平衡调度和自动调整超参数的方案，并证明了其在一般离散分布上的非渐近收敛性和推理保证。广泛实验证明了该方法在采样复杂多模离散分布方面的优势。
发现论文，激发创造
  • 贝叶斯深度学习的循环随机梯度 MCMC

    本论文利用循环随机梯度 MCMC 算法对神经网络权重后验分布进行高效探索，证明了算法的确切收敛性，拓展了算法在复杂多模态分布下的应用性能，尤其是用于深度神经网络的贝叶斯推断。

    Feb, 2019

  • 优化扩散模型中的采样计划对齐步骤

    通过对扩散模型的采样调度进行优化，我们提出了一种通用的、有原则的方法，称为 “调整您的步骤”，以实现高质量输出，并观察到我们优化的调度在几乎所有实验中优于以前手工制作的调度。

    Apr, 2024

  • 离散分布的可伸缩抽样：梯度抽取错误

    使用似然函数关于离散变量的梯度来提议更新，在一些复杂的模型上，我们的采样方法包括 Ising 模型、Potts 模型、受限玻尔兹曼机和分步隐马尔可夫模型等方面表现出优异的性能，并且有效提升以往在高维离散数据处理方面经常使用的变分自编码器和现有基于能量模型的方法的性能。同时我们证明，该方法是在局部更新的抽样器中几乎是最优的。

    Feb, 2021

  • 自适应 MCMC 框架针对多峰分布的目标

    提出了一种基于蒙特卡罗方法的采样技术，使用辅助变量设计了自适应方案来实现多模态分布下的本地移动和跳跃移动，并证明了算法的遍历性。

    Dec, 2018

  • 扩散吉布斯抽样

    我们提出了 DiGS (一种创新的采样方法) 用于从具有远离和断开模态的分布中进行有效采样。DiGS 通过将扩散模型与高斯卷积相结合，创造了一个桥接原始空间中孤立模态的辅助噪声分布，并且应用了 Gibbs 采样来交替地从两个空间中抽取样本。与诸如并行退火等现有方法相比，我们的方法在采样多模态分布时表现出更好的混合特性。通过在混合高斯、贝叶斯神经网络和分子动力学等各种任务中展示，我们的采样器取得了显著改进的结果。

    Feb, 2024

  • 一种基于周期随机梯度 MCMC 的概率自监督学习方法

    使用循环随机梯度 Hamiltonian Monte Carlo (cSGHMC) 的贝叶斯自监督学习方法，在嵌入向量的高维多模态后验分布中探索，采用表达丰富的后验分布提供解释性和多样性的特征表示，从而提高了性能，在多种下游分类任务中实现了校准和超出分布检测，并在四个具有挑战性的数据集上进行了实验验证，同时将所提出的方法在 SVHN 和 CIFAR-10 数据集上用于超出分布检测的有效性进行了证明。

    Aug, 2023

  • 并行计划采样

    本文介绍了一种简单的方法，通过时间并行化可以减轻固定顺序随机替换预测值的 “计划采样”，并在图像生成、文本摘要、对话生成和翻译等任务中实现与传统教师强制训练相当或更好的性能。

    Jun, 2019

  • 半循环随机梯度下降

    本文研究具有块循环结构的凸 SGD 更新，并提出了一种简单的方法，以便在保持性能保证的同时应用于预测。此结构可以显著恶化 SGD 算法的性能，但该方法可以保持 i.i.d.，非循环采样的同等性能保证。

    Apr, 2019

  • 基于流形采样的格点场理论多模型分布抽样

    本文介绍一种构建多模式目标下流水线模型的新方法，应用于二维实标量场理论的对称破缺相建模中，研究不同基于流模型的采样算法的表现，包括一种复合采样算法，其中偶尔会使用传统算法如 HMC 进行更新。

    Jul, 2021

  • 自对抗学习贝叶斯采样

    本文提出一种新的自我对抗学习框架，用于通过学习条件生成器来生成高质量的样本，并自动学习马尔可夫内核的行为，从而逐渐逼近目标分布，从而在可扩展 Bayesian 采样和非监督深度学习模型等方面取得优势。

    Nov, 2018