Feb, 2024

偏斜高斯混合专家的参数估计

PDF
TL;DR在这篇论文中，我们考虑了参数估计问题，主要集中在偏离的高斯混合专家模型中。通过构建新的基于 Voronoi 的损失函数，我们准确地捕捉了最大似然估计的收敛速度，并显示出这些损失函数比高斯混合专家模型常用的广义 Wasserstein 损失函数更准确地描述了参数估计的局部收敛速度。
parameter estimationdeviated gaussian mixture of expertscovariate vectorresponse variablevoronoi-based loss functions
发现论文，激发创造
  • 高斯门控专家混合模型参数估计的收敛速率

    本研究利用 Voronoi 损失函数来解决高斯门限混合专家模型参数估计中出现的内在复杂交互问题。在两种不同的场景下，对于 MLE 行为进行了分析，并最终进行了模拟研究以验证理论结果。

    May, 2023

  • 高斯专家混合模型中的 Softmax 门控解密

    通过引入新的 Vononoi 损失函数，建立最大似然估计器的收敛速度，解决了 softmax gating 高斯混合专家的参数估计中的三种理论挑战。

    May, 2023

  • 基于统计的 Top-K 稀疏 Softmax 门控混合专家

    通过定义损失函数和构建高斯混合专家模型，我们从密度和参数估计的角度对顶部 K 个稀疏 Softmax 门控函数进行理论研究，发现要保证密度估计的收敛，所选取的门控函数所包含的专家数量至少必须超过与真实参数相关的某些 Voronoi 单元总基数，并且由于 Softmax 门控和专家函数之间的内在相互作用，参数估计速度明显变慢。

    Sep, 2023

  • 有限高斯混合逼近的最佳近似

    通过有限混合物逼近一般的高斯位置混合物，在具有紧支持或适当的尾部概率假设的混合分布族中确定实现所需精度（通过各种 $f$- 分歧度测量）的有限混合物的最小阶数，其中上界是通过使用局部矩匹配技术实现的，下界是通过将最佳逼近误差与某些三角矩矩阵的低秩逼近联系起来，然后通过对其最小特征值进行精细的谱分析确定的。在高斯混合分布情况下，该结果纠正了之前在 [Allerton Conference 48 (2010) 620-628] 中的下界。

    Apr, 2024

  • 通过稀疏极大似然估计进行模型选择

    使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数，以得到稀疏的无向图模型，并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。

    Jul, 2007

  • 高斯混合模型的最大似然估计是超越函数的

    本文通过代数统计学的方法分析高斯混合模型中的极大似然估计，发现 MLE 不是数据的代数函数，因此这些模型没有 ML 度的概念，似然函数的临界点是超越的，并且即使是两个单变量高斯混合模型，其临界点数量也没有界限。

    Aug, 2015

  • Kullback-Leibler 聚合和错误指定的广义线性模型

    本文介绍了在确定性设计下，回归设置中的简单聚合问题，并将其从高斯分布扩展到指数族分布。通过约束和 / 或罚分最大化方法解决此问题并导出了能够在期望和高概率情况下保持的谐振不等式。最后，证明了所有边界在最小化意义上都是最优的。

    Nov, 2009

  • 高维高斯混合模型学习

    在高维情况下，使用平滑分析方法可以在多项式时间内使用多项式数量的样本学习带有随机扰动参数的高斯混合模型，通过利用高斯分布的高阶矩的组合结构并推导其对称性，探索新的高斯混合物的时刻张量的分解方法以及构建结构化随机矩阵的奇异值的下界。

    Mar, 2015

  • 高斯混合模型似然函数中的局部最大值：结构结果与算法影响

    对高斯混合模型的局部极值、EM 算法、随机初始化和 “坏” 鞍点的存在进行了深入研究。结果表明，即使在高度有利的情况下，谨慎初始化也是使用 EM 算法的必要条件。

    Sep, 2016

  • 用切片瓦烧斯坦距离学习高斯混合模型

    本文提供了通过切片 Wasserstein 距离的算法来求解高斯混合模型参数的新方法，并且与该算法相比，传统的期望极大化算法无论是从随机初始值还是数据分布的准确性方面都更加鲁棒。

    Nov, 2017