Aug, 2023

高斯混合模型和神经网络的高效一次迭代学习算法

PDF
TL;DR本文提出了一种基于高斯混合模型（Gaussian Mixture Model，GMM）的学习算法，相比经典的期望最大化（Expectation Maximization，EM）算法，该算法具有更高的鲁棒性和简易性，提高了准确性，仅需 1 次迭代进行学习。我们在理论上证明了该新算法无论参数初始化如何，都能保证收敛。与神经网络中的经典概率层相比，我们比较了 GMM 扩展方法，证明其更好地克服了数据不确定性和逆问题。最后，我们测试了基于 GMM 的生成器，展示了进一步应用的潜力，能够利用分布随机抽样进行随机变异和变异控制。
gaussian mixture modelem algorithmrobustnessprobability layersgenerator
发现论文，激发创造
  • 高斯混合模型的量子期望最大化

    本研究提出一个基于量子算法的 EM 算法版本，用于解决高维 Gaussian 混合模型拟合问题，相较于传统算法有更快的收敛速度和更高的精度，并且能够推广到指数族分布，提供同样的计算保障。

    Aug, 2019

  • 正则化 EM 算法

    本文提出了一种基于 EM 算法的正则化版本，该方法可高效地利用先验知识来应对样本数据较小的情况，并通过收缩估计量以实现正定的协方差矩阵更新，从而改善 EM 算法在 Gaussian 混合模型（GMM）处理中的性能问题。此外，基于真实数据的实验证实了该算法在聚类目的上的良好性能。

    Jul, 2023

  • EM 算法在两个高斯混合模型中的十步成功

    利用无限多样本的总体版本，我们为具有已知协方差矩阵的两个高斯混合物提供了全局收敛保证，并为收敛速率提供了简单的封闭型表达式。

    Sep, 2016

  • 面向超参数化高斯混合模型梯度 EM 算法的全球收敛

    在过参数化的设置中，我们研究了高斯混合模型（GMM）的梯度期望最大化（EM）算法，通过单个真实高斯分布生成的数据来学习具有 n > 1 个分量的一般 GMM。通过构建一个新的基于似然度的收敛性分析框架，我们严格证明了梯度 EM 以 sublinear 速率 O (1/√t) 具有全局收敛性，这是关于具有多于 2 个分量的高斯混合模型的首个全局收敛结果。子线性收敛速率是由于学习过参数化 GMM 的算法性质所导致的。我们还确定了学习一般过参数化 GMM 的新技术挑战：存在能够在指数步数内困住梯度 EM 的不良局部区域。

    Jun, 2024

  • 深高斯混合模型用于无监督图像分割

    使用深度学习、高斯混合模型和卷积神经网络方法，本研究提出了一种可以快速预测标签概率的图像分割方法，并且能部分克服高斯混合模型中忽略相邻像素相关性的缺点，通过在多序列 MRI 图像上进行心肌梗塞分割的实验证明了该方法的优势。

    Apr, 2024

  • 量子期望最大化算法

    本文通过基于 k-means 算法的量子聚类算法，提出了一种基于量子 EM 算法的高斯混合模型算法，证明了该算法的鲁棒性和量子加速优势以及 GMM 在非平凡聚类数据中的优势。

    Aug, 2019

  • 高斯混合模型的自适应种子

    我们提出了用于多元高斯混合模型期望 - 最大化算法的新初始化方法，这些方法是 K-means++ 初始化和 Gonzalez 算法的改进。我们的方法旨在弥合简单随机和高度依赖超参数选择的复杂方法之间的差距，并且我们的广泛实验表明：与将原始 K - 平均值 ++ 和 Gonzalez 直接应用于人工和现实数据集的常见技术和方法相比，我们的方法具有实用性。

    Dec, 2013

  • 高斯混合模型的另一种 EM 方法：批量和随机黎曼优化

    该论文提出了一种基于 Riemannian 优化方法的高斯混合模型参数估计算法，与 EM 算法相比表现更优，同时给出了非渐近收敛分析的随机优化方法。

    Jun, 2017

  • 高斯混合模型的期望最大化全局分析

    研究基于极大似然原理的迭代算法 —— 期望最大化算法（EM）在统计模型中的参数估计，发现其仅能保证收敛于似然函数的极值点而非最大值点，尤其针对包含两个高斯分布混合的模型进行具体分析，最终建立了 EM 算法的统计一致性。

    Aug, 2016

  • 深高斯混合集合

    本文介绍了一种新颖的概率深度学习技术 —— 深高斯混合集成（DGMEs），它能够准确量化认知不确定性和 Aleatoric 不确定性，通过假设数据生成过程遵循高斯混合的模型，DGMEs 能够逼近复杂的概率分布。实验结果表明，DGMEs 在处理复杂的预测密度方面比现有的不确定性量化深度学习模型表现更好。

    Jun, 2023