最大似然估计（MLE）的潜变量模型常常被重新设定为参数和概率分布的扩展空间上的优化问题。我们提出了一个受动力系统启发的方法，结合了 Nesterov 的加速梯度法、欠阻尼朗之万方程和粒子方法，使得该算法在连续时间中收敛到函数的唯一最小值。通过数值实验，我们证明该算法比现有方法更快地收敛，并与其他（近似的）MLE 算法相比具有优势。

Dec, 2023

通过利用凸优化中的 coin betting 思想，将约束取样视为概率测度空间上的镜像优化问题，我们介绍了一套完全不依赖学习率的基于粒子的约束取样算法，并引入了现有约束取样算法的统一框架。数值实验表明，我们的算法在清单、公平约束、后选推理等任务中实现了非常有竞争力的性能，且无需调节任何超参数。

May, 2023

本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

Aug, 2016

使用重构喷注、贝叶斯方法、序贯蒙特卡罗、变分推断和对撞机物理等关键词，介绍了一种用于推断喷注潜在结构的组合序贯蒙特卡罗方法，以及该方法使用估计器进行参数学习和提供全面贝叶斯处理的可变推理算法。通过使用按照碰撞机物理生成模型生成的数据进行实验证明了该方法在速度和准确性上的优越性。

Jun, 2024

本文提出了一种名为 Frank-Wolfe 算法最大平均差异度量（MMD-FW）的新方法，通过贪婪算法以最小化的方式最小化 MMD，该方法在计算上具有实用的效率，并且我们在有限的维度中显示出其有限的样本收敛之后的线性顺序。

May, 2018

在高维度的贝叶斯线性模型中，通过最小化 TAP 自由能量，我们展示了一种局部最小化算法，提供了与后验边际一致的估计，并可用于正确校准的后验推断。在一定的一般条件下，这种局部最小值可以通过 Approximate Message Passing (AMP) 算法找到，从而在局部邻域内线性收敛到最小值。

Nov, 2023

该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI 在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

Jun, 2024

本文提出了一种新的参数估计技术，该技术无需计算不可处理的归一化因子或从模型的平衡分布中采样，通过建立动态算法将观测到的数据分布转化为模型分布，并通过使得数据分布与运行该动态算法的分布的 KL 散度最小化来进行优化，在 Ising 模型等情况下展示比当前先进技术更快的学习效率和更低的误差。

Jun, 2009

本文提出了一种通用的在线版本 Expectation-Maximisation 算法，适用于独立观测的隐变量模型，可以更直接地将模型分布与观测的边际分布联系起来，而无需进行完整数据分布的积分，实现了一定的简化和加快收敛的效果，并且还适用于条件模型，例如本文所举出的线性回归模型的混合模型。

Dec, 2007

本文针对大数据分析，提出了一种基于 Wasserstein 梯度流的粒子优化框架，用于统一随机梯度 MCMC 和 Stein 变分梯度下降算法，并能够更有效地解决概率测度空间上的挑战。实验结果表明，该框架能够提高贝叶斯抽样的效率和可伸缩性。

May, 2018