本文将herding算法扩展到连续空间，并使用kernel技巧，生成了一种无限内存的确定性过程 - ‘kernel herding’算法，该方法通过样本集合学习来逼近PDF。我们通过减少期望误差来说明了kernel herding在Hilbert空间中函数的收敛速率比iid随机样本的O(1/pT)快得多，而是O(1/T)。此外，我们通过逼近贝叶斯预测分布来说明了kernel herding算法的应用。

Mar, 2012

该研究论文介绍了连续时间贝叶斯网络的一种新的采样方法——Gibbs采样，以解决对多组件过程进行精确推理的困难。该方法可以适应进程的自然时间尺度，减少计算成本，并提供渐近无偏的近似。

Jun, 2012

我们提出了一种混合算法，将collapsed Gibbs采样和variational Bayesian推断相结合，取得了显著的测试集困惑度改善，同时不增加计算成本。

Jun, 2012

本研究旨在提高在处理大数据集时的贝叶斯后验MCMC采样的效率，通过引入基于连续假设检验的近似MH规则，根据部分数据即可高置信度地接受或拒绝样本，从而减少计算代价，同时控制引入的渐近偏差使方差下降得以更快。

Apr, 2013

该研究使用MAP推断描述如何有效地从Gibbs分布中进行采样。通过引入低维扰动并解决相应的MAP分配，提供了从Gibbs分布中绘制近似或无偏样本的方式。同时通过该方法，获得了求解分函数下限的新方法。最后实验结果表明，该方法在“高信号 - 高耦合”模式下优异表现，并且可以处理更具挑战性的能量场景。

Sep, 2013

给出一种用于学习Markov随机场（MRF）或无向图模型的简单的、乘性权重更新算法——Sparsitron算法，特别适用于学习t阶MRFs结构，并具有近乎最优的样本复杂度和多项式的运行时间。同时，该算法还可以学习Ising模型上的参数，生成接近真实MRF的统计距离假设，并给出了学习稀疏广义线性模型（GLMs）的解决方案。

Jun, 2017

使用 Dobrushin-optimized Gibbs samplers (DoGS)为基础，提供量身定做的变量选择顺序，在总变异距离到稳态方面提供了明确的上下限，明显降低了抽样预算，并证实了在联合图像分割和物体识别等方面的实际优越性。

Jul, 2017

通过在神经网络各个节点引入噪声，作者提出一种新的概率模型，认为由此所得的 posterior distribution 可以用有效的 Gibbs sampler 来采样，并在实验中证明了该方法在真实数据和合成数据上都能取得类似于 Hamiltonian Monte Carlo 或 Metropolis adjusted Langevin algorithm 等蒙特卡罗马尔可夫链方法的性能；此外，通过教师-学生模型，作者提出了一种热化准则，并通过实验演示其有效性，该准则可以用来检测算法在合成标注数据上无法从 posterior distribution 中采样的情况。

Jun, 2023

通过使用合适的统计量，本文提出了一种新的DPMM（Dirichlet Process Mixture Models）的分布式马尔科夫链蒙特卡罗（MCMC）推理方法（DisCGS）。该方法使用了折叠的吉布斯采样器，并且特别设计用于在独立异构的机器间处理分布式数据，使其在横向联合学习中具备应用能力。我们的方法取得了非常有前景的结果和显著的可扩展性。例如，对于包含10万个数据点的数据集，集中式算法需要大约12小时完成100次迭代，而我们的方法仅需3分钟完成相同的迭代次数，将执行时间缩短了200倍，同时不影响聚类性能。

Dec, 2023

核心聚类属于一族确定性定积分方法之一，旨在通过最小化再生核希尔伯特空间（RKHS）上的最坏情况积分误差来实现。本文研究了一种关于定积分节点的联合概率分布，其支撑集趋向于最小化与核心聚类相同的最坏情况误差。我们证明其在最坏情况积分误差的集中不等式方面优于独立同分布的蒙特卡洛方法。虽然尚未改进速率，但这表明吉布斯测度研究的数学工具有助于理解核心聚类及其变体在计算便宜方法上的改进程度。此外，我们提供了早期的实验证据，表明收敛速度更快（虽然不是最坏情况），这很可能实现。

Feb, 2024