本文介绍精确的马尔可夫链蒙特卡洛方法，可以应用于离散采样、直接和间接观察扩散过程。其中的方法可以模拟目前最普遍的精确模拟算法，并包括改进性能的方法。通过理论和实际对比，我们发现与当前最先进的方法相比，效果更好，而且一些指标有着有趣的联系。
Feb, 2011
本文介绍了在贝叶斯分析中后验计算的主要范例：马尔可夫蒙特卡罗方法。我们提出了一种最优化方法，将计算时间和近似误差结合起来，并在均匀混合马尔可夫链的设置中进行了广泛的推广，表明了好的近似在实际应用中的重要性，如 $n$ 个逻辑回归和高斯处理的低秩逼近。
Aug, 2015
本文研究了受 Markov 扰动影响的递归方程的误差界限。研究显示，均方误差实现了参数估计的最优速率 $O (1/n)$，并获得了速率中的确切常数，这对算法设计非常有价值。
Feb, 2020
本研究提出了一种基于粒子的蒙特卡罗方法，其中持续时间通过解析方法边际化，最终在具有组合状态空间的连续时间马尔可夫链上实现更准确的参数后验近似。
Sep, 2013
该论文提出了一种新的框架，将一类分布估计算法，特别是协方差矩阵适应算法，写成了蒙特卡罗期望最大化算法和无限样本极限下的精确 EM，这个发现为 EDAs 研究提供了一个基于 EM 坚实统计基础的新的、一致的框架。
May, 2019
通过基于可变分歧最小化的约束重构，估计了马尔科夫链稳态分布的量，提出了一个简单而有效的算法 GenDICE，在离线 PageRank 和离线政策评估等基准问题上具有强大的实证性能。
本文研究了马尔科夫链蒙特卡罗方法的误差边界问题，针对不同类型的马尔科夫链给出了相应的上下界，同时提供了选择转化期的配方，并将误差边界应用于积分和概率计算。
Aug, 2011
本研究开发了一种双向算法来估计马尔可夫链的多步转移概率，该方法适用于离散状态空间上的任何马尔可夫链，可以用于计算多步转移概率的函数，并且在 “稀疏” 马尔可夫链中，该方法的运行时间比 Monte Carlo 和功率迭代算法更小。
Jul, 2015
本文介绍了一种新的基于非可逆马尔可夫链蒙特卡洛算法的类别，利用连续时间分段确定性马尔可夫过程。这些算法基于确定性动力学演化标记过程的状态，同时利用马尔可夫转移核来改变其状态。通过使用这些算法，只有子集状态被更新，导致其他组件的状态隐含不显，另外，利用无偏估计对数目标时，这些算法保持目标不变。本文提出新的 MCMC 方法来解决这些限制，并在多种应用中展示了这些方案的性能。
Jul, 2017
本文研究了 Markov 粗粒度关联均衡问题的计算复杂性及其在多智能体强化学习中的应用，发现当多智能体交互为回合制、折扣因子和粗略程度为常数时，计算近似的 Markov 粗粒度关联均衡策略属于 NP 难问题，但是提供了在多智能体中非稳定 Markov CCE 策略的学习解决方案。
Apr, 2022