本文研究了基于 Markov 链采样的随机约束随机优化问题，将 drift-plus-penalty 方法推广至这一设置，提出了两种变体，分别适用于已知和未知混合时间的情况，同时适用于约束函数序列遵循 Markov 链的一般设置，通过在分类中引入公平约束的数值实验证明了我们所提方法的有效性。

Dec, 2023

研究了最小二乘线性回归的问题，其中数据点依赖于并从马尔可夫链中采样。在不同的噪声设置下，建立了关于底层马尔可夫链混合时间 $\tau_{mix}$ 的尖锐信息理论极小值下界来解决此问题。我们发现，与独立数据的优化相比，具有马尔可夫数据的优化通常更加困难，一个只在大约 $ ilde {\Theta}(\tau_{mix})$ 个样本中工作的平凡算法 (SGD-DD) 是极小化最优的。此外，我们还研究了实践中出现的结构化数据集，例如高斯自回归动态，它们能否拥有更高效的优化方案。令人惊讶的是，即使在这个特定的自然环境下，具有一定步长的随机梯度下降法与常数并没有比 SGD-DD 算法更好。相反，我们提出了一种基于体验复盘的算法 —— 一种流行的强化学习技术 —— 它可以实现更好的误差率。我们的改进速率是第一个在有趣的马尔可夫链上优于 SGD-DD 的算法之一，也为在实践中支持使用经验回放提供了首个理论分析。

Jun, 2020

研究了如何从 1 条路径中估计任意遍历有限状态 Markov 链的混合时间，引入了假谱间隙的概念，并构建了全经验置信区间，将精度优化至多项式依赖的最小稳态概率和假谱间隙。

Feb, 2019

该论文提出了一种上调和蒙特卡洛算法（uHMC），并提供了关于其马尔科夫链混合时间、总变差距离等指标的上限，证明了可在 log 级别的时间内实现精度为 ε 的近似目标分布，最终证明在两种模型下该算法的成功耦合可以实现这些上限。

May, 2021

通过将训练数据从一个混合过程进行采样，我们研究了统计学习算法在非独立同分布的环境中的泛化误差，并基于延迟反馈的在线学习提出了一个分析框架。特别地，我们展示了即使数据序列是从混合时间序列采样得到的情况下，通过存在一个具有有界遗憾的在线学习算法（针对一个固定的统计学习算法，在一个特殊构建的延迟反馈的在线学习博弈中），所述统计学习方法的泛化误差较低。这些速率展示了在线学习博弈中的延迟量和连续数据点之间的依赖程度之间的权衡，当延迟适当地调整为过程的混合时间的函数时，可以在许多研究良好的情形下恢复近乎最优的速率。

Jun, 2024

该论文提出了一种针对马尔可夫噪声的随机优化问题的优化方法，使用随机批处理方案和多层蒙特卡洛方法，在非凸和强凸情况下实现对梯度方法和变分不等式的统一理论分析。此外，该研究消除了以前关于马尔可夫噪声的限制假设，并提供了与优化问题的强凸情况相匹配的下界。

May, 2023

本文介绍了在贝叶斯分析中后验计算的主要范例：马尔可夫蒙特卡罗方法。我们提出了一种最优化方法，将计算时间和近似误差结合起来，并在均匀混合马尔可夫链的设置中进行了广泛的推广，表明了好的近似在实际应用中的重要性，如 $n$ 个逻辑回归和高斯处理的低秩逼近。

Aug, 2015

本文研究随机梯度下降的变体 —— 马尔科夫链梯度下降算法，并针对非凸问题和不可逆有限状态马尔科夫链等情形，提出可行的非等时收敛证明，并通过实验验证其有效性。

Sep, 2018

提出了一种基于 Anderson Mixing 的随机方法，称为 SAM，用于求解非凸随机优化问题，并应用于训练各种神经网络，包括 CNN、ResNet、WideResNet、ResNeXt、DenseNet 和 RNN，实验证明该方法具有优异的性能。

Oct, 2021

该研究介绍了一种新颖的连续时间马尔可夫链混合模型，重点研究了观察路径长度和混合参数对问题范畴的影响，并通过实验证明了离散化连续时间路径对混合模型的可学习性有重要影响，为不同问题情境下的算法选择提供了关键见解。

Feb, 2024