NIPSNov, 2015

正则化 EM 算法：统一框架与统计保证

PDF
TL;DR这篇研究论文通过使用正则化技术，解决了高维数据应用中 EM 算法在 M 步时无法定义的问题，并在此基础上，具有统计保证的处理了高维混合回归、缺失变量回归等问题。
latent variable modelsem algorithmregularizationhigh-dimensional problemsstatistical guarantees
发现论文，激发创造
  • 正则化 EM 算法

    本文提出了一种基于 EM 算法的正则化版本，该方法可高效地利用先验知识来应对样本数据较小的情况，并通过收缩估计量以实现正定的协方差矩阵更新，从而改善 EM 算法在 Gaussian 混合模型（GMM）处理中的性能问题。此外，基于真实数据的实验证实了该算法在聚类目的上的良好性能。

    Jul, 2023

  • 高维期望最大化算法：统计优化和渐近正态性

    本文提供了一个关于期望最大化 (EM) 算法应用于高维潜变量模型推断的一般理论。作者提出了一个新的高维 EM 算法，自然地融入了稀疏结构到参数估计中。基于估计值，作者提出了新的推论程序来测试假设并构建置信区间。这个算法针对广泛的统计模型，提供了高维最先进的估计和渐近推断的第一个可计算的方法。

    Dec, 2014

  • 具有可分解正则化项的 M - 估计高维分析 Unified 框架

    这篇论文提供了一个统一的框架，以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度，指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性，这些特性在许多经典案例中也是最优的

    Oct, 2010

  • EM 算法的统计保证：从总体到基于样本的分析

    本文开发了一个通用框架以证明 EM 算法及其变体（梯度 EM）的性能，分析分为两部分：在人口水平上处理这些算法（在无限数据的极限情况下），然后是基于一组有限样本的更新的结果。我们证明了我们的一般理论对于三个和不完整数据问题有一个具体的著名案例。

    Aug, 2014

  • Mixture of Two Component Linear Regression 的 EM 算法全局收敛性

    本研究提出 Expectation-Maximization 算法在混合线性回归方程式以两个成分收敛的新证明，揭示其在混合线性回归方程式中的变异，为此提出几种新思想。

    Oct, 2018

  • 潜变量数据模型的在线 EM 算法

    本文提出了一种通用的在线版本 Expectation-Maximisation 算法，适用于独立观测的隐变量模型，可以更直接地将模型分布与观测的边际分布联系起来，而无需进行完整数据分布的积分，实现了一定的简化和加快收敛的效果，并且还适用于条件模型，例如本文所举出的线性回归模型的混合模型。

    Dec, 2007

  • 混合线性回归模型的聚类数据中的 EM 算法

    在分布式数据中，通过结构化数据进行 EM 估计的集群结构可有效提高学习方案，最多需要 O (1) 次迭代以达到相同的统计准确性，只要 m 按照 e^{o (n)} 增长。

    Aug, 2023

  • 概率展开优化：面向潜在高斯模型的可扩展、无需反演的最大似然估计

    本文提出了一种用概率展开和迭代线性求解器相结合的方法，以绕过矩阵求逆的问题来学习潜在高斯模型，在实验中发现，这种方法可以比传统梯度期望极大化算法快一个数量级地学习潜在高斯模型。

    Jun, 2023

  • 混合线性回归问题的交替最小化

    本文提出了一种新的初始化过程，该过程基于找到适当矩阵的前两个特征向量，并表明具有这种方法下的重采样 EM 算法在自然假设前提下可以收敛到正确的向量，其样本复杂度几乎是最佳的。

    Oct, 2013

  • EM 类型算法学习主动基模型

    介绍 EM 算法在非全监督学习中创建目标物体图像模板的应用，使用局部、延伸和定向的小波元素和迭代步骤分别进行自监督和监督学习来学习和识别物体。

    Apr, 2011