本文提出了一种基于Langevin恒温器的自适应协方差控制算法，通过有效地耗散依赖于参数的噪声来维持目标分布，从而实现在机器学习应用中相对于其他方案的大幅加速。

Oct, 2015

本文研究了从已知平滑和强对数凹概率密度函数中采样的方法， 分析了基于过渡态随机游走的近似采样方法，并提出了几种保证误差的方法， 包括第一阶Langevin Monte Carlo算法的误差上界、误差上界和梯度评估不准确的情况， 以及二阶Langevin Monte Carlo算法利用log密度的海森矩阵的保证。

Sep, 2017

该研究提出了一种新颖的学习从离散化动力学中保留某些能量函数的采样器中的质量矩阵的技术。采用以前的动态学习 Monte Carlo EM 框架中的采样步骤中使用的现有动力学，并使用一种新颖的在线技术在 M 步中学习质量矩阵。此外，还提出一种通过从跳字动力学中的采样误差估计自适应设置 E 步中收集的样本数量的方法，使用标准的哈密顿蒙特卡罗 (HMC) 以及新的随机算法，如 SGHMC 和 SGNHT，在合成和真实高维采样场景中表现出强大的性能。

Nov, 2017

该研究针对噪声高维推理问题，通过对比Langevin算法和AMP算法的表现，发现Langevin算法的阈值不如AMP算法，并猜测这是由于该参数区域中存在残留玻璃态,最后还介绍了一种使用Langevin算法的景观退火协议，可以接近AMP的性能。

Dec, 2018

本文提出的正则性条件使我们能够在许多统计和机器学习应用中获取更快的边界。其中包括使用弱凸先验分布的贝叶斯逻辑回归和学习0-1损失函数的线性分类器的非凸优化问题。本文的主要技术贡献是我们通过能量守恒误差对MALA的Metropolis接受概率进行分析，并通过三阶和四阶正则性条件限制该误差。

Feb, 2019

本研究利用自适应参数预处理噪声的方法，将Fisher Scoring等高阶曲率信息引入Stochastic Gradient Langevin Dynamics中，使其能够有效地跳出深度神经网络中曲率异常的波动区域，与Adam、AdaGrad等一阶自适应方法的收敛速度相当，并在测试集上实现了与SGD同等的泛化性能。

Jun, 2019

该文研究了非渐近情况下，基于新的技术 ─ Metropolis调整的投影特征，将MALA算法的分析简化到Langevin SDE分析领域，从而证明了在一定条件下，MALA算法得到的混合时间为O(d^(1/2))

Dec, 2020

本研究研究了在 $\mathbb{R}^d$ 上采样目标密度的 Metropolis-Adjusted Langevin 算法的混合时间，发现它在一定条件下的混合时间为 $O((L\Upsilon)^{\frac12}/\psi_\mu^2\log(1/\epsilon))$。

Apr, 2023

预处理 Langevin 动力学在目标函数的稳态点附近的期望损失与目标函数的 Hessian 排名成正比，并在神经网络中的应用中比较了类似 SGD 和类似 Adam 的预处理器的期望损失。

Feb, 2024

在这篇论文中，我们研究了应用于满足对数Sobolev不等式（LSI）的目标分布的先验扩散技术，证明了改进的 Langevin 算法在不同步长计划下能够获得与维度无关的 KL 散度收敛，并通过构建插值的 SDE 和准确描述过阻尼 Langevin 动力学离散更新的方法提供了理论分析的证明。我们的研究结果展示了先验扩散对更广泛类别的目标分布的优势，并为开发更快的采样算法提供了新的见解。

Mar, 2024