Jun, 2023

概率展开优化：面向潜在高斯模型的可扩展、无需反演的最大似然估计

PDF
TL;DR本文提出了一种用概率展开和迭代线性求解器相结合的方法，以绕过矩阵求逆的问题来学习潜在高斯模型，在实验中发现，这种方法可以比传统梯度期望极大化算法快一个数量级地学习潜在高斯模型。
latent gaussian modelsexpectation-maximization algorithmprobabilistic unrollingmonte carlo samplingmaximum likelihood estimation
发现论文，激发创造
  • 高斯混合模型的量子期望最大化

    本研究提出一个基于量子算法的 EM 算法版本，用于解决高维 Gaussian 混合模型拟合问题，相较于传统算法有更快的收敛速度和更高的精度，并且能够推广到指数族分布，提供同样的计算保障。

    Aug, 2019

  • 潜变量数据模型的在线 EM 算法

    本文提出了一种通用的在线版本 Expectation-Maximisation 算法，适用于独立观测的隐变量模型，可以更直接地将模型分布与观测的边际分布联系起来，而无需进行完整数据分布的积分，实现了一定的简化和加快收敛的效果，并且还适用于条件模型，例如本文所举出的线性回归模型的混合模型。

    Dec, 2007

  • 高维期望最大化算法：统计优化和渐近正态性

    本文提供了一个关于期望最大化 (EM) 算法应用于高维潜变量模型推断的一般理论。作者提出了一个新的高维 EM 算法，自然地融入了稀疏结构到参数估计中。基于估计值，作者提出了新的推论程序来测试假设并构建置信区间。这个算法针对广泛的统计模型，提供了高维最先进的估计和渐近推断的第一个可计算的方法。

    Dec, 2014

  • 高斯过程潜变量模型的连续采样

    本文研究在数据的概率模型中推断一个潜在函数的问题，并探究了基于马尔可夫链蒙特卡罗采样的高效计算方法在大型数据集上的可行性，提出了一种近似方法，使潜在变量和相关参数的顺序采样能够有效地处理增长数据设置，证明了其在无序、非顺序采样下不可行的情况下的强大性能。

    Jul, 2018

  • 逆问题的算法展开模型的统计学视角

    在已知条件分布的情况下，通过算法展开设计深度神经网络架构，分析了梯度下降网络（GDN）的统计复杂性、最佳深度和过拟合问题。

    Nov, 2023

  • 高斯过程模型输入不确定性的变分推断

    本文提出了一种贝叶斯方法，通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。

    Sep, 2014

  • 动量粒子极大似然

    最大似然估计（MLE）的潜变量模型常常被重新设定为参数和概率分布的扩展空间上的优化问题。我们提出了一个受动力系统启发的方法，结合了 Nesterov 的加速梯度法、欠阻尼朗之万方程和粒子方法，使得该算法在连续时间中收敛到函数的唯一最小值。通过数值实验，我们证明该算法比现有方法更快地收敛，并与其他（近似的）MLE 算法相比具有优势。

    Dec, 2023

  • 利用深度潜变量模型的精确似然

    本文探讨了深度潜变量模型中精确似然的一般性质及其在实践中的应用，特别是关于参数估计和缺失数据插补。作者介绍了一种基于条件似然的算法，用于深度潜变量模型中的缺失数据插补，并在多个数据集中对比了该算法和通常用于 DLVMs 的插补方案，结果表明该算法显著优于传统方案。作者还探讨了无约束模型似然函数无界的问题及其在模式崩溃中的作用，并提出了确保最大似然估计存在的方法。

    Feb, 2018

  • 高斯过程的尴尬并行推断

    该研究使用混合专家模型代替传统高斯模型，在降低计算成本的同时，提高了模型的弹性和可伸缩性。

    Feb, 2017

  • 正则化 EM 算法：统一框架与统计保证

    这篇研究论文通过使用正则化技术，解决了高维数据应用中 EM 算法在 M 步时无法定义的问题，并在此基础上，具有统计保证的处理了高维混合回归、缺失变量回归等问题。

    Nov, 2015