Jun, 2024

面向超参数化高斯混合模型梯度 EM 算法的全球收敛

PDF
TL;DR在过参数化的设置中，我们研究了高斯混合模型（GMM）的梯度期望最大化（EM）算法，通过单个真实高斯分布生成的数据来学习具有 n > 1 个分量的一般 GMM。通过构建一个新的基于似然度的收敛性分析框架，我们严格证明了梯度 EM 以 sublinear 速率 O (1/√t) 具有全局收敛性，这是关于具有多于 2 个分量的高斯混合模型的首个全局收敛结果。子线性收敛速率是由于学习过参数化 GMM 的算法性质所导致的。我们还确定了学习一般过参数化 GMM 的新技术挑战：存在能够在指数步数内困住梯度 EM 的不良局部区域。
gradient expectation-maximization algorithmgaussian mixture modelsover-parameterized settingglobal convergence analysissublinear convergence rate
发现论文，激发创造
  • Mixture of Two Component Linear Regression 的 EM 算法全局收敛性

    本研究提出 Expectation-Maximization 算法在混合线性回归方程式以两个成分收敛的新证明，揭示其在混合线性回归方程式中的变异，为此提出几种新思想。

    Oct, 2018

  • 高斯混合模型的期望最大化全局分析

    研究基于极大似然原理的迭代算法 —— 期望最大化算法（EM）在统计模型中的参数估计，发现其仅能保证收敛于似然函数的极值点而非最大值点，尤其针对包含两个高斯分布混合的模型进行具体分析，最终建立了 EM 算法的统计一致性。

    Aug, 2016

  • EM 算法在两个高斯混合模型中的十步成功

    利用无限多样本的总体版本，我们为具有已知协方差矩阵的两个高斯混合物提供了全局收敛保证，并为收敛速率提供了简单的封闭型表达式。

    Sep, 2016

  • 过度参数化结合期望最大化算法的优势

    本文研究基于过度参数化的混合高斯模型的期望最大化算法在寻找全局最优解方面的表现，理论和实验结果表明，此方法可以避免局部最优解问题。

    Oct, 2018

  • 带有不平衡混合系数的高斯混合 EM 算法收敛性

    研究了混合高斯模型中分量重叠对 EM 算法收敛速度的影响，提出了一种确定性抗退火算法用于解决非平衡混合系数混合高斯模型的 EM 算法收敛速度过慢问题以及类似的算法用于 Dirichlet 过程混合模型，实验证明它们相比于其他标准优化算法的优势。

    Jun, 2012

  • 高斯混合模型的另一种 EM 方法：批量和随机黎曼优化

    该论文提出了一种基于 Riemannian 优化方法的高斯混合模型参数估计算法，与 EM 算法相比表现更优，同时给出了非渐近收敛分析的随机优化方法。

    Jun, 2017

  • EM 算法的统计保证：从总体到基于样本的分析

    本文开发了一个通用框架以证明 EM 算法及其变体（梯度 EM）的性能，分析分为两部分：在人口水平上处理这些算法（在无限数据的极限情况下），然后是基于一组有限样本的更新的结果。我们证明了我们的一般理论对于三个和不完整数据问题有一个具体的著名案例。

    Aug, 2014

  • 高斯混合模型似然函数中的局部最大值：结构结果与算法影响

    对高斯混合模型的局部极值、EM 算法、随机初始化和 “坏” 鞍点的存在进行了深入研究。结果表明，即使在高度有利的情况下，谨慎初始化也是使用 EM 算法的必要条件。

    Sep, 2016

  • 高斯混合模型的量子期望最大化

    本研究提出一个基于量子算法的 EM 算法版本，用于解决高维 Gaussian 混合模型拟合问题，相较于传统算法有更快的收敛速度和更高的精度，并且能够推广到指数族分布，提供同样的计算保障。

    Aug, 2019

  • 混合线性回归模型的聚类数据中的 EM 算法

    在分布式数据中，通过结构化数据进行 EM 估计的集群结构可有效提高学习方案，最多需要 O (1) 次迭代以达到相同的统计准确性，只要 m 按照 e^{o (n)} 增长。

    Aug, 2023