研究基于极大似然原理的迭代算法 —— 期望最大化算法(EM)在统计模型中的参数估计,发现其仅能保证收敛于似然函数的极值点而非最大值点,尤其针对包含两个高斯分布混合的模型进行具体分析,最终建立了 EM 算法的统计一致性。
Aug, 2016
本研究提出一个基于量子算法的 EM 算法版本,用于解决高维 Gaussian 混合模型拟合问题,相较于传统算法有更快的收敛速度和更高的精度,并且能够推广到指数族分布,提供同样的计算保障。
Aug, 2019
本研究提出 Expectation-Maximization 算法在混合线性回归方程式以两个成分收敛的新证明,揭示其在混合线性回归方程式中的变异,为此提出几种新思想。
Oct, 2018
在过参数化的设置中,我们研究了高斯混合模型(GMM)的梯度期望最大化(EM)算法,通过单个真实高斯分布生成的数据来学习具有 n > 1 个分量的一般 GMM。通过构建一个新的基于似然度的收敛性分析框架,我们严格证明了梯度 EM 以 sublinear 速率 O (1/√t) 具有全局收敛性,这是关于具有多于 2 个分量的高斯混合模型的首个全局收敛结果。子线性收敛速率是由于学习过参数化 GMM 的算法性质所导致的。我们还确定了学习一般过参数化 GMM 的新技术挑战:存在能够在指数步数内困住梯度 EM 的不良局部区域。
Jun, 2024
本文介绍了用期望最大化 (EM) 算法估计两个线性回归混合模型系数的收敛性,根据实验结果,我们发现算法需要在无限圆锥内开始初始化。同时发现,如果初始猜测与目标参数向量的余弦角足够大,则 EM 算法的样本分割版本可以高概率地收敛到真实系数向量。
Apr, 2017
本文提出了一种基于 EM 算法的正则化版本,该方法可高效地利用先验知识来应对样本数据较小的情况,并通过收缩估计量以实现正定的协方差矩阵更新,从而改善 EM 算法在 Gaussian 混合模型(GMM)处理中的性能问题。此外,基于真实数据的实验证实了该算法在聚类目的上的良好性能。
Jul, 2023
本文研究基于过度参数化的混合高斯模型的期望最大化算法在寻找全局最优解方面的表现,理论和实验结果表明,此方法可以避免局部最优解问题。
在分布式数据中,通过结构化数据进行 EM 估计的集群结构可有效提高学习方案,最多需要 O (1) 次迭代以达到相同的统计准确性,只要 m 按照 e^{o (n)} 增长。
Aug, 2023
研究了混合高斯模型中分量重叠对 EM 算法收敛速度的影响,提出了一种确定性抗退火算法用于解决非平衡混合系数混合高斯模型的 EM 算法收敛速度过慢问题以及类似的算法用于 Dirichlet 过程混合模型,实验证明它们相比于其他标准优化算法的优势。
Jun, 2012
本文提供了一个关于期望最大化 (EM) 算法应用于高维潜变量模型推断的一般理论。作者提出了一个新的高维 EM 算法,自然地融入了稀疏结构到参数估计中。基于估计值,作者提出了新的推论程序来测试假设并构建置信区间。这个算法针对广泛的统计模型,提供了高维最先进的估计和渐近推断的第一个可计算的方法。
Dec, 2014