Oct, 2012

界限优化算法的收敛性

PDF
TL;DR本文研究基于边界优化算法（Expectation-Maximization、Iterative Scaling 和 CCCP）的参数学习与直接优化算法（如梯度下降法）的关系，通过分析各种方法的更新方式来识别局部收敛和全局收敛之间的差别及数据预处理对算法性能的影响。实验结果表明，对数据进行简单预处理可以显著提高边界优化算法的性能。
em algorithmbound optimization algorithmsparameter learningconvergencedata preprocessing
发现论文，激发创造
  • 面向超参数化高斯混合模型梯度 EM 算法的全球收敛

    在过参数化的设置中，我们研究了高斯混合模型（GMM）的梯度期望最大化（EM）算法，通过单个真实高斯分布生成的数据来学习具有 n > 1 个分量的一般 GMM。通过构建一个新的基于似然度的收敛性分析框架，我们严格证明了梯度 EM 以 sublinear 速率 O (1/√t) 具有全局收敛性，这是关于具有多于 2 个分量的高斯混合模型的首个全局收敛结果。子线性收敛速率是由于学习过参数化 GMM 的算法性质所导致的。我们还确定了学习一般过参数化 GMM 的新技术挑战：存在能够在指数步数内困住梯度 EM 的不良局部区域。

    Jun, 2024

  • 带有不平衡混合系数的高斯混合 EM 算法收敛性

    研究了混合高斯模型中分量重叠对 EM 算法收敛速度的影响，提出了一种确定性抗退火算法用于解决非平衡混合系数混合高斯模型的 EM 算法收敛速度过慢问题以及类似的算法用于 Dirichlet 过程混合模型，实验证明它们相比于其他标准优化算法的优势。

    Jun, 2012

  • 加速方法

    本文介绍了用于凸优化中的加速技术的两个关键方法族（动量和嵌套优化方案），动量方法结构收敛证明使用几个主模板（例如用于优化梯度方法的那个）和近端加速，探讨了重新启动方案和一些常见的加速的技术。

    Jan, 2021

  • 迭代优化算法的稳定性与收敛折衷

    分析迭代算法的收敛速度与稳定性之间的平衡问题，得出迭代算法总体表现是由最小二乘统计误差下界和稳定性共同决定的结论。以几种收敛速度较快的迭代算法为例，讨论了它们的稳定性上界和下界，并提出一些问题，说明改进收敛速度需要牺牲稳定性的平衡关系。

    Apr, 2018

  • 一类非凸非光滑优化问题的收敛保证

    对于非凸、非光滑函数的关键点寻找问题，本文研究了三种基于梯度的方法 (梯度下降、近端更新、弗兰克 - 沃尔夫更新) 的行为，并证明了这些算法的收敛速率，同时也为连续亚解析函数证明了更快的收敛速率，优化后的算法具有更低的迭代成本，并通过应用于最佳子集选择、鲁棒估计、混合密度估计和形状阴影重建等问题，展示了方法和理论的实际效果。

    Apr, 2018

  • 通过统一的误差界条件对梯度类型方法的线性收敛性进行新的分析

    本文研究了梯度型方法中误差绑定条件和残差测量算子之间的关系，并提出了一种新的梯度型方法，使用这个算子来推导出必要和充分的线性收敛误差界条件。

    Jun, 2016

  • 可达到最坏情形收敛速率的迭代算法直接合成

    本文提出了一种使用健壮控制合成技术来进行算法搜索的方法，以获得在具有任意有限内存的算法上成立的最坏情况下性能保证，并证明了这种方法比先前方法更为有效。

    Apr, 2019

  • 高维期望最大化算法：统计优化和渐近正态性

    本文提供了一个关于期望最大化 (EM) 算法应用于高维潜变量模型推断的一般理论。作者提出了一个新的高维 EM 算法，自然地融入了稀疏结构到参数估计中。基于估计值，作者提出了新的推论程序来测试假设并构建置信区间。这个算法针对广泛的统计模型，提供了高维最先进的估计和渐近推断的第一个可计算的方法。

    Dec, 2014

  • EM 算法的统计保证：从总体到基于样本的分析

    本文开发了一个通用框架以证明 EM 算法及其变体（梯度 EM）的性能，分析分为两部分：在人口水平上处理这些算法（在无限数据的极限情况下），然后是基于一组有限样本的更新的结果。我们证明了我们的一般理论对于三个和不完整数据问题有一个具体的著名案例。

    Aug, 2014

  • Mixture of Two Component Linear Regression 的 EM 算法全局收敛性

    本研究提出 Expectation-Maximization 算法在混合线性回归方程式以两个成分收敛的新证明，揭示其在混合线性回归方程式中的变异，为此提出几种新思想。

    Oct, 2018