通过近似Wasserstein流形解决一般椭圆混合模型
研究了混合高斯模型中分量重叠对 EM 算法收敛速度的影响,提出了一种确定性抗退火算法用于解决非平衡混合系数混合高斯模型的 EM 算法收敛速度过慢问题以及类似的算法用于 Dirichlet 过程混合模型,实验证明它们相比于其他标准优化算法的优势。
Jun, 2012
这篇研究论文通过使用正则化技术,解决了高维数据应用中EM算法在M步时无法定义的问题,并在此基础上,具有统计保证的处理了高维混合回归、缺失变量回归等问题。
Nov, 2015
对高斯混合模型的局部极值、EM算法、随机初始化和“坏”鞍点的存在进行了深入研究。结果表明,即使在高度有利的情况下,谨慎初始化也是使用EM算法的必要条件。
Sep, 2016
该论文提出了一种基于 Riemannian 优化方法的高斯混合模型参数估计算法,与EM算法相比表现更优,同时给出了非渐近收敛分析的随机优化方法。
Jun, 2017
本文提供了通过切片Wasserstein距离的算法来求解高斯混合模型参数的新方法,并且与该算法相比,传统的期望极大化算法无论是从随机初始值还是数据分布的准确性方面都更加鲁棒。
Nov, 2017
该研究论文介绍了两种Gromov-Wasserstein类型的距离,用于高斯混合模型集合。这些距离可作为Gromov-Wasserstein的替代品,用于评估两个分布间的差异,并且为点云之间的最优传输计划提供了一种定义方式。同时,该研究还提供了实际应用案例,如形状匹配和高光谱图像颜色转换。
Oct, 2023
在这项研究中,我们探讨了在概率空间上定义的Sobolev平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的Wasserstein潜势,使用Wasserstein Sobolev空间中的经验风险最小化和Tikhonov正则化,以及通过表征Tikhonov泛函的Euler-Lagrange方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023
在过参数化的设置中,我们研究了高斯混合模型(GMM)的梯度期望最大化(EM)算法,通过单个真实高斯分布生成的数据来学习具有 n > 1 个分量的一般 GMM。通过构建一个新的基于似然度的收敛性分析框架,我们严格证明了梯度 EM 以 sublinear 速率 O(1/√t) 具有全局收敛性,这是关于具有多于 2 个分量的高斯混合模型的首个全局收敛结果。子线性收敛速率是由于学习过参数化 GMM 的算法性质所导致的。我们还确定了学习一般过参数化 GMM 的新技术挑战:存在能够在指数步数内困住梯度 EM 的不良局部区域。
Jun, 2024
本研究解决了当混合模型的组成部分源自Manly变换时的参数拟合问题。提出了一种新颖的EM梯度算法,在模型参数的初始估计良好时,使用牛顿法的一个步骤来更新偏斜参数。这一方法能够提高模型拟合的效率和准确性,对混合模型的应用具有重要影响。
Oct, 2024