May, 2024

高维情况下分类重叠的高斯混合模型：从最优分类器到神经网络

PDF
TL;DR高维重叠高斯混合模型 (GMM) 数据的二元分类的贝叶斯最优决策边界的闭合表达式会根据类协方差的特征结构而变化。通过对由真实数据启发的合成 GMM 数据进行的实验，我们从经验上证明了深度神经网络在分类训练中学习预测器可以近似得到最优分类器。我们进一步拓展了对真实数据训练的网络的研究，观察到决策阈值与协方差的特征向量相关而不是特征值，从而反映了我们 GMM 分析的结果。这为神经网络从错综复杂的分布中执行概率推断和提取统计模式的能力提供了理论洞见。
bayes optimal decision boundarieshigh dimensionalgaussian mixture modeldeep neural networkscovariance eigenvectors
发现论文，激发创造
  • 高维高斯混合物的分类：核方法失败、神经网络成功

    研究表明：在一些简单的分类任务中，只有少数隐藏神经元的两层神经网络可以超越核学习的性能，这是因为两层神经网络在高维极限下能够实现非常优秀的表现，并且节点超参数数目过多并不能提高其表现。

    Feb, 2021

  • 高维随机梯度下降与新兴异常特征空间的对齐

    通过随机梯度下降（SGD）和经验 Hessian 和梯度矩阵的谱的联合演化，我们严格地研究了训练动态的联合演化。我们证明，在多类高维混合和单层或两层神经网络的两个典型分类任务中，SGD 轨迹迅速与 Hessian 和梯度矩阵的新出现的低秩异常特征空间对齐。此外，在多层设置中，这种对齐是逐层进行的，最后一层的异常特征空间在训练过程中发生变化，并在 SGD 收敛到次优分类器时呈现秩亏。这些结果证实了过去十年中关于过参数化网络在训练过程中 Hessian 和信息矩阵的谱的广泛数值研究中出现的一些丰富预测。

    Oct, 2023

  • 高维高斯混合模型学习

    在高维情况下，使用平滑分析方法可以在多项式时间内使用多项式数量的样本学习带有随机扰动参数的高斯混合模型，通过利用高斯分布的高阶矩的组合结构并推导其对称性，探索新的高斯混合物的时刻张量的分解方法以及构建结构化随机矩阵的奇异值的下界。

    Mar, 2015

  • 高斯混合模型成分重叠的可行度量

    本文针对高斯混合模型和已知样本分配的情况，通过求解广义本征值问题导出了一种基于成分重叠的测量方法，并通过模拟结果表明其可以很好地反映线性近似的积分测量行为。

    Jul, 2014

  • 高斯混合卷积网络

    提出了一种基于多维高斯混合分析卷积的深度学习方法，该方法通过高斯混合卷积核和数据产生多个特征通道，使用高斯混合拟合来代替传统的转移函数（如 ReLU），并在适当减少高斯混合成分数量的情况下进行汇集，基于该架构的网络在封装 MNIST 和 ModelNet 数据集的高斯混合物上达到了竞争性的准确性。

    Feb, 2022

  • 高维函数拟合的 N 维高斯模型

    我们使用高斯混合模型构建了一种高效的显式表示方法，可以在短时间内优化和渲染复杂的外观，该方法能够应对高维度挑战和缺失细节，并适用于快速拟合和评估。

    May, 2024

  • 从经验观察到普适性：基于高斯混合构建输入的深度学习动态

    本研究通过深入研究具有展现高斯混合（GM）结构特征的输入的神经网络动力学来拓宽深度学习的理论框架的范围。我们分析了神经网络在具有 GM 结构输入下的动力学如何与基于简单高斯结构的传统理论的预测不同。我们的研究揭示了即使在标准化的 GM 输入下，神经网络动力学也会趋向于传统理论，突显出这种意外的普遍性。我们发现标准化，特别是与某些非线性函数相结合，对于这种现象起着关键作用。因此，尽管 GM 分布的复杂性和多样性，我们证明了神经网络在简单高斯框架下表现出符合预测的渐近行为。

    May, 2024

  • 在无限宽度极限下探究神经网络隐式先验的不确定性特性

    本文研究深度学习模型的不确定性估计问题，基于神经网络高斯过程构建了一个概率模型，能够更好地校准模型并比较有限和无限宽模型的表现差异，同时也考虑了分类问题和迁移学习等实际应用场景。

    Oct, 2020

  • 基于节点学习的多个高斯图模型

    该论文探究了高维高斯图形模型估计问题，提出了两种假设：网络差异源于被扰动的个别节点或在所有网络中共享的公共中心节点，然后使用凸优化问题和多重乘数算法解决，并以合成数据、网页数据和癌症基因表达数据为例进行说明。

    Mar, 2013

  • 带有噪声标签的高维度学习

    该研究论文探讨了高维二分类在具有条件性噪声标签的情况下的理论视角。通过研究具有标签噪声感知损失函数的线性分类器在维度 p 和样本数 n 都很大且可比时的行为，利用随机矩阵理论和高斯混合数据模型，证明了当 p 和 n 趋近于无穷时，线性分类器的性能收敛至涉及数据的标量统计量的一个界限。重要的是，我们的发现表明低维处理标签噪声的直觉在高维中不成立，即低维中的最优分类器在高维中出现显著失败。基于我们的推导，我们设计了一种优化方法，经证明在处理高维噪声标签方面更加高效。我们的理论结论在真实数据集上的实验证实了我们的优化方法优于考虑的基准方法。

    May, 2024