使用循环随机梯度 Hamiltonian Monte Carlo (cSGHMC) 的贝叶斯自监督学习方法，在嵌入向量的高维多模态后验分布中探索，采用表达丰富的后验分布提供解释性和多样性的特征表示，从而提高了性能，在多种下游分类任务中实现了校准和超出分布检测，并在四个具有挑战性的数据集上进行了实验验证，同时将所提出的方法在 SVHN 和 CIFAR-10 数据集上用于超出分布检测的有效性进行了证明。

Aug, 2023

本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

Jun, 2015

本文提出了第一个元学习算法，可以自动设计 SG-MCMC 采样器的连续动力学，学习的采样器泛化了 Hamiltonian 动力学，并且在贝叶斯全连接神经网络和贝叶斯循环神经网络任务上进行了验证，表明学习采样器优于通用手动设计的 SG-MCMC 算法，并且可以推广到不同的数据集和更大的架构。

Jun, 2018

多模离散分布的高效准确采样中，我们提出了一种自动循环调度方法，其中包括循环步长调度、循环平衡调度和自动调整超参数的方案，并证明了其在一般离散分布上的非渐近收敛性和推理保证。广泛实验证明了该方法在采样复杂多模离散分布方面的优势。

Feb, 2024

研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

Apr, 2021

提出一种使用高效对称分裂积分器的多元随机梯度 NHT 采样方法，以更准确、稳健和更快地收敛于深度贝叶斯模型的目标后验分布。

Dec, 2015

开发基于随机梯度 MCMC 算法的隐马尔可夫模型参数学习方法，通过利用内在的记忆衰减特性以应对离散状态与小批量数据带来的挑战，进而在合成实验和电离子通道记录数据上展示该算法的有效性和性能优势。

Jun, 2017

本文提出了利用 Hamiltonian Monte Carlo 方法的广义运动函数来改进随机梯度马尔可夫蒙特卡罗采样的效率，并讨论了克服这种泛化所引入的实际问题的技术。实验证明，该方法在探索复杂的多峰后验分布方面表现优秀。

Jun, 2017

用一种新的非参数泛化逼近方法代替 VI，包含了一种 Langevin-type 算法，其中一部分潜变量是从 Markov 链的早期样本中平均的，以控制地打破统计相关性，从而使链更快混合。通过在 ResNet-20 上对 CIFAR-10，SVHN 和 FMNIST 进行测试，我们发现与 SG-MCMC 和 VI 相比，在收敛速度和 / 或最终准确性方面都有所提高。

Jul, 2021

此研究介绍了随机梯度贝克动力学（SGBD）算法，通过扩展最近开发的贝克马尔科夫链蒙特卡洛（MCMC）方案为随机梯度框架，实现了在大数据集下对贝叶斯采样的鲁棒性。研究表明，相比流行的随机梯度 Langevin 动力学算法，SGBD 在超参数调整和目标梯度的不规则行为方面表现更为稳健。

May, 2024