Mixture of Two Component Linear Regression 的 EM 算法全局收敛性

Oct, 2018

Mixture of Two Component Linear Regression 的 EM 算法全局收敛性

Global Convergence of EM Algorithm for Mixtures of Two Component Linear Regression

Jeongyeol Kwon, Wei Qian, Constantine Caramanis, Yudong Chen, Damek Davis

TL;DR本研究提出 Expectation-Maximization 算法在混合线性回归方程式以两个成分收敛的新证明，揭示其在混合线性回归方程式中的变异，为此提出几种新思想。

Abstract

The expectation-maximization algorithm is perhaps the most broadly used algorithm for inference of latent variable problems. A theoretical understanding of its performance, however, largely remains lacking. Recen

expectation-maximization algorithm latent variable problems convergence mixed linear regression gaussian mixture models

发现论文，激发创造

面向超参数化高斯混合模型梯度 EM 算法的全球收敛

在过参数化的设置中，我们研究了高斯混合模型（GMM）的梯度期望最大化（EM）算法，通过单个真实高斯分布生成的数据来学习具有 n > 1 个分量的一般 GMM。通过构建一个新的基于似然度的收敛性分析框架，我们严格证明了梯度 EM 以 sublinear 速率 O (1/√t) 具有全局收敛性，这是关于具有多于 2 个分量的高斯混合模型的首个全局收敛结果。子线性收敛速率是由于学习过参数化 GMM 的算法性质所导致的。我们还确定了学习一般过参数化 GMM 的新技术挑战：存在能够在指数步数内困住梯度 EM 的不良局部区域。

Jun, 2024

高斯混合模型的期望最大化全局分析

研究基于极大似然原理的迭代算法 —— 期望最大化算法（EM）在统计模型中的参数估计，发现其仅能保证收敛于似然函数的极值点而非最大值点，尤其针对包含两个高斯分布混合的模型进行具体分析，最终建立了 EM 算法的统计一致性。

Aug, 2016

EM 算法在两个高斯混合模型中的十步成功

利用无限多样本的总体版本，我们为具有已知协方差矩阵的两个高斯混合物提供了全局收敛保证，并为收敛速率提供了简单的封闭型表达式。

Sep, 2016

用期望极大化算法估计两个线性回归混合模型的系数

本文介绍了用期望最大化 (EM) 算法估计两个线性回归混合模型系数的收敛性，根据实验结果，我们发现算法需要在无限圆锥内开始初始化。同时发现，如果初始猜测与目标参数向量的余弦角足够大，则 EM 算法的样本分割版本可以高概率地收敛到真实系数向量。

Apr, 2017

带有不平衡混合系数的高斯混合 EM 算法收敛性

研究了混合高斯模型中分量重叠对 EM 算法收敛速度的影响，提出了一种确定性抗退火算法用于解决非平衡混合系数混合高斯模型的 EM 算法收敛速度过慢问题以及类似的算法用于 Dirichlet 过程混合模型，实验证明它们相比于其他标准优化算法的优势。

Jun, 2012

高斯混合模型的量子期望最大化

本研究提出一个基于量子算法的 EM 算法版本，用于解决高维 Gaussian 混合模型拟合问题，相较于传统算法有更快的收敛速度和更高的精度，并且能够推广到指数族分布，提供同样的计算保障。

Aug, 2019

混合线性回归中 EM 迭代的摆线轨迹揭示

我们研究了两组分混合线性回归 (2MLR) 的期望最大化 (EM) 算法的迭代轨迹和收敛速度。通过使用贝塞尔函数，我们提供了 EM 在所有信噪比情况下的明确闭式表达式，并在无噪音的情况下通过导出一个循环关系完全刻画了 EM 迭代的行为，从而揭示了所有迭代都位于某个摆线上。基于这种新的轨迹分析，我们展示了超线性收敛指数的理论估计，并进一步提高了有限样本层面上的统计误差界限。我们的分析为研究混合线性回归中的 EM 行为提供了新的框架。

May, 2024

混合模型的逐分量 EM 算法

本文通过提出一种分量依次更新参数的 Component-wise EM 算法，并将其解释为一种近端点算法，以此证明其收敛性。通过数值实验，比较了本算法，EM 算法和 SAGE 算法的性能表现。

Jan, 2012

潜变量数据模型的在线 EM 算法

本文提出了一种通用的在线版本 Expectation-Maximisation 算法，适用于独立观测的隐变量模型，可以更直接地将模型分布与观测的边际分布联系起来，而无需进行完整数据分布的积分，实现了一定的简化和加快收敛的效果，并且还适用于条件模型，例如本文所举出的线性回归模型的混合模型。

Dec, 2007

混合线性回归模型的聚类数据中的 EM 算法

在分布式数据中，通过结构化数据进行 EM 估计的集群结构可有效提高学习方案，最多需要 O (1) 次迭代以达到相同的统计准确性，只要 m 按照 e^{o (n)} 增长。

Aug, 2023