Dec, 2023

动量粒子极大似然

PDF
TL;DR最大似然估计（MLE）的潜变量模型常常被重新设定为参数和概率分布的扩展空间上的优化问题。我们提出了一个受动力系统启发的方法，结合了 Nesterov 的加速梯度法、欠阻尼朗之万方程和粒子方法，使得该算法在连续时间中收敛到函数的唯一最小值。通过数值实验，我们证明该算法比现有方法更快地收敛，并与其他（近似的）MLE 算法相比具有优势。
maximum likelihood estimationlatent variable modelsoptimization problemexpectation maximizationparticle-based algorithms
发现论文，激发创造
  • CoinEM：基于粒子的变分推断无需调参的潜变量模型

    介绍了两种用于通过边缘最大似然估计学习潜变量模型的新的基于粒子的算法，其中包括一种完全免调范的算法。我们的方法基于作为优化问题的边缘最大似然估计的视角：即作为自由能泛函的最小化。我们验证了我们算法在广泛的数值试验中的性能，包括几个高维设置。

    May, 2023

  • 高斯混合模型的量子期望最大化

    本研究提出一个基于量子算法的 EM 算法版本，用于解决高维 Gaussian 混合模型拟合问题，相较于传统算法有更快的收敛速度和更高的精度，并且能够推广到指数族分布，提供同样的计算保障。

    Aug, 2019

  • 潜变量数据模型的在线 EM 算法

    本文提出了一种通用的在线版本 Expectation-Maximisation 算法，适用于独立观测的隐变量模型，可以更直接地将模型分布与观测的边际分布联系起来，而无需进行完整数据分布的积分，实现了一定的简化和加快收敛的效果，并且还适用于条件模型，例如本文所举出的线性回归模型的混合模型。

    Dec, 2007

  • 优化中动量方法的李雅普诺夫分析

    通过证明估计序列技术与李亚普诺夫函数家族在连续和离散时间上的等价性，我们发现了许多动量算法的简单统一分析方法，引入了一些新算法，并加强了算法与连续时间动力系统之间的联系。

    Nov, 2016

  • 改进的均场神经网络的粒子逼近误差

    通过改进粒子近似误差的对数 Sobolev 不等式常数依赖性，我们展示了 MFLD 的收敛性提高、对均场稳态分布的采样保证以及粒子复杂度的统一随时间的 Wasserstein 传播。

    May, 2024

  • 最小概率流学习

    本文提出了一种新的参数估计技术，该技术无需计算不可处理的归一化因子或从模型的平衡分布中采样，通过建立动态算法将观测到的数据分布转化为模型分布，并通过使得数据分布与运行该动态算法的分布的 KL 散度最小化来进行优化，在 Ising 模型等情况下展示比当前先进技术更快的学习效率和更低的误差。

    Jun, 2009

  • 隐式最大似然估计：通过离散指数族分布反向传播

    该论文提出了一种基于离散指数族分布和可微神经组件相结合的模型的端到端学习框架 Implicit Maximum Likelihood Estimation（I-MLE），并介绍了一种新型的噪声分布 perturb-and-MAP，该框架在几个数据集上表现良好，并且与依赖于特定问题松弛的现有方法相比竞争力强。

    Jun, 2021

  • 概率展开优化：面向潜在高斯模型的可扩展、无需反演的最大似然估计

    本文提出了一种用概率展开和迭代线性求解器相结合的方法，以绕过矩阵求逆的问题来学习潜在高斯模型，在实验中发现，这种方法可以比传统梯度期望极大化算法快一个数量级地学习潜在高斯模型。

    Jun, 2023

  • 高维期望最大化算法：统计优化和渐近正态性

    本文提供了一个关于期望最大化 (EM) 算法应用于高维潜变量模型推断的一般理论。作者提出了一个新的高维 EM 算法，自然地融入了稀疏结构到参数估计中。基于估计值，作者提出了新的推论程序来测试假设并构建置信区间。这个算法针对广泛的统计模型，提供了高维最先进的估计和渐近推断的第一个可计算的方法。

    Dec, 2014

  • 基于对抗动力学嵌入的指数族估计

    提出了一种有效的用于指数族模型最大似然估计的算法，包括神经网络模型的一般能量函数参数化。通过运用动力学嵌入的神经架构，利用动力学扩展模型获取与对抗性双重取样器相关的估计，我们继承 HMC 的灵活性，同时为增广模型提供了可处理的熵估计。通过同时学习双重取样器和原始模型，并共用它们之间的参数，我们避免了需要在模型训练后设计单独的采样过程的要求，从而实现更有效的学习。

    Apr, 2019