本文提出了一种新型迭代 Monte Carlo 方法，用于逼近具有正回归的马尔可夫链状态的稳定概率，其迭代次数少，对于每个状态的估计都具有保证，在终止标准的帮助下，提供了具有保证的近似值，其算法绑定在马尔可夫链上的步数是有限的。

Dec, 2013

研究了如何从 1 条路径中估计任意遍历有限状态 Markov 链的混合时间，引入了假谱间隙的概念，并构建了全经验置信区间，将精度优化至多项式依赖的最小稳态概率和假谱间隙。

Feb, 2019

本研究开发了一种双向算法来估计马尔可夫链的多步转移概率，该方法适用于离散状态空间上的任何马尔可夫链，可以用于计算多步转移概率的函数，并且在 “稀疏” 马尔可夫链中，该方法的运行时间比 Monte Carlo 和功率迭代算法更小。

Jul, 2015

本文研究了从一个单一的长序列状态观测中估计离散状态马尔可夫链核参数的统计复杂性。我们表征了（模对数因子而言）在算子无穷范数意义下估计最小化信赖样本复杂度的有限情况，而在可数无限情况下，我们则分析了基于总变差导出的自然逐项方式规范的问题。我们证明，在这两种情况下，样本复杂度取决于未知链的混合特性，在有限状态情况下，已知有完全经验置信区间的有限样本估计器。

Sep, 2018

提出了一种基于变分幂方法的一致估计器，用于估计马尔可夫链的稳态分布，其不需要进一步访问基础的系统。它不仅统一了许多现有方法，还在众多问题中提供了显着更好的估计，包括：队列，随机微分方程，后处理 MCMC 和试验性评估。

Mar, 2020

使用 Global Waddington-OT 方法，将基于单细胞 RNA 测序数据的高维单细胞时序数据的随机过程重建为对应的轨迹，具有良好的准确性和高效性。

Feb, 2021

通过理论上的特征分类，我们提供了一个原则性指南，以选择最优的权重序列，从而改善卡尔曼滤波器在动态密度估计中的追踪效果。

Mar, 2024

本篇文章从离散分布中对随机变量进行抽样，对未观测点集的概率进行了界限规定和简化，同时对 Kearns 和 Saul 的一项基本不等式进行了完善和证明。

Oct, 2012

研究了最小二乘线性回归的问题，其中数据点依赖于并从马尔可夫链中采样。在不同的噪声设置下，建立了关于底层马尔可夫链混合时间 $\tau_{mix}$ 的尖锐信息理论极小值下界来解决此问题。我们发现，与独立数据的优化相比，具有马尔可夫数据的优化通常更加困难，一个只在大约 $ ilde {\Theta}(\tau_{mix})$ 个样本中工作的平凡算法 (SGD-DD) 是极小化最优的。此外，我们还研究了实践中出现的结构化数据集，例如高斯自回归动态，它们能否拥有更高效的优化方案。令人惊讶的是，即使在这个特定的自然环境下，具有一定步长的随机梯度下降法与常数并没有比 SGD-DD 算法更好。相反，我们提出了一种基于体验复盘的算法 —— 一种流行的强化学习技术 —— 它可以实现更好的误差率。我们的改进速率是第一个在有趣的马尔可夫链上优于 SGD-DD 的算法之一，也为在实践中支持使用经验回放提供了首个理论分析。

Jun, 2020

本研究提出了一种新的框架，通过使用聚合输出数据来估计不可区分代理的一组在隐藏的马尔可夫链上的演变，并将其视为近期发展在有限状态空间隐藏马尔可夫链环境中的最优质量传输和 Schrödinger 桥的扩展。通过解决最大似然估计问题来估计集合的流量，并为其开发了一种快速数值算法。我们在两个数值实例中说明了这个框架如何用于跟踪相同和不可区分的动态系统的流量。

May, 2019