Nov, 2020

高斯混合模型的强健可学习性

HTML
PDF
TL;DR本文介绍了学习高斯混合分布和算法鲁棒性统计的自然融合，提出了第一个可靠的算法，用于学习任意数量的高斯混合物，且仅需要混合权重（有界分数性）和成分之间的总变差距离与零保持一定距离的温和假设条件。算法的核心是一种新的方法，通过对某些生成函数应用一系列精心选择的微分运算来证明维度无关的多项式可辨识性，这些生成函数不仅编码了我们想要学习的参数，还编码了我们想要解决的多项式方程系统。我们展示了如何直接使用我们推导出的符号身份来分析自然的平方和松弛问题。
发现论文，激发创造
  • 高斯混合多项式可学习性的解决

    该论文提出了一种基于高斯混合模型的数据学习算法，可用于密度估计、数据聚类、高斯混合参数估计等问题，同时考虑了高维情况下的实际问题。

    Apr, 2010

  • 分布族的多项式学习

    本文解决了高维度任意固定数目成分的高斯混合分布在多项式学习方面存在问题的问题，提供了降维方法来将学习高维混合分布降至低维学习问题，并利用实代数几何学工具提供了多项式族分布的学习方法。

    Apr, 2010

  • 高斯混合模型适当学习的更快速、近乎最优的算法

    提出一种无需可分离性假设就能准确学习两个单维高斯混合模型的算法，其样本复杂度优于现有算法，能够有效地处理假设选择的问题。

    Dec, 2013

  • 学习两个高斯混合的紧密界限

    本文介绍了一种基于矩估计的计算方法，并应用新颖且简单的降维技术将上界推广到任意维数$d>1$，同时发现了一些样本复杂度较小的特殊情况，同时我们的结果也适用于在总变异距离上学习混合物的每个组件，其中我们的算法显著提高了样本复杂度。

    Apr, 2014

  • 高维高斯混合模型学习

    在高维情况下，使用平滑分析方法可以在多项式时间内使用多项式数量的样本学习带有随机扰动参数的高斯混合模型, 通过利用高斯分布的高阶矩的组合结构并推导其对称性，探索新的高斯混合物的时刻张量的分解方法以及构建结构化随机矩阵的奇异值的下界。

    Mar, 2015

  • 高维高斯分布和高斯混合模型的鲁棒估计的统计查询下限

    本文提出了一种统计查询下限技术，用于解决高维学习问题中高斯分布的学习和鲁棒性学习问题，并得出了样本复杂度和计算复杂度之间存在的超多项式差距，同时提供了一个新的方法来解决一些相关的无监督估计和测试问题。

    Nov, 2016

  • 高斯健壮学习：高效获得最优误差

    本文针对高维高斯分布参数学习问题进行了研究，提出了鲁棒估计算法，在拥有少量恶意样本的情况下实现了 $O(ε)$ 精度的估计，同时也证明了算法的多项式时间复杂度和多项式数量样本要求。

    Apr, 2017

  • 任意可簇合高斯混合模型的鲁棒学习

    研究了在高维高斯混合假设下，少量数据受到对手损坏的情况下的高效可学习性，提出了一种多项式算法并证明了在成分经过配对后在总变异距离上分离时，该问题是可多项式学习的；这种算法是第一个可处理$k=2$的高斯混合问题的多项式时间算法，并使用基于Sum-of-Squares证明算法的技术，提出了一种新的用于高斯混合的鲁棒可辨识性证明方法和使用SoS可证明的反集中方法和新的特征距离度量组来解决问题。

    May, 2020

  • 稳健地学习$k$个任意高斯分布的混合

    在固定$k$个任意高斯分布的混合物和常量级别的数据污染的情况下，我们提出了一个用于稳健估计的多项式时间算法。该算法的主要工具有基于平方和方法的有效局部聚类算法和允许Frobenius范数和低秩项误差的新型张量分解算法。

    Dec, 2020

  • 用多项式数量的样本来隐私学习高斯混合模型

    在满足差分隐私的约束下，研究了估计混合高斯模型问题。通过使用新的框架，证明了高斯模型类的混合模型是可私密学习的，得到了估计混合高斯模型所需的样本数量的有界性，且不对GMMs作出任何结构性假设。

    Sep, 2023