神经网络收敛于高斯混合分布

Apr, 2022

Convergence of neural networks to Gaussian mixture distribution

Yasuhiko Asao, Ryotaro Sakamoto, Shiro Takagi

TL;DR通过实验证明，在一些条件成立的情况下，随着最后一个隐藏层的宽度越来越大，完全连接的前馈深度随机神经网络收敛到了一个高斯混合分布。此外，对于一个支持我们结果的简单模型，我们还给出了详细的收敛描述，即，最后一个隐藏层的增长让分布更接近高斯混合分布，其余层逐渐使高斯混合分布更接近正态分布。

Abstract

We give a proof that, under relatively mild conditions, fully-connected feed-forward deep random neural networks converge to a Gaussian mixture distribution as only the width of the last hidden layer goes to infi

deep neural networks convergence gaussian mixture distribution last hidden layer feed-forward

发现论文，激发创造

宽深神经网络中的高斯过程行为

本研究研究了深度神经网络和高斯过程之间的联系，指出在广泛的条件下，随着体系结构越来越宽，隐含的随机函数在分布上会趋于高斯过程，并使用最大平均偏差评估收敛速率。最后，将贝叶斯深度网络与高斯过程进行比较，并从文献中回顾了非高斯替代模型。

Apr, 2018

深度神经网络作为高斯过程

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

高斯过程对神经网络的非渐进逼近

本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率，说明了两种不同的情况：同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。

Feb, 2021

高斯混合卷积网络

提出了一种基于多维高斯混合分析卷积的深度学习方法，该方法通过高斯混合卷积核和数据产生多个特征通道，使用高斯混合拟合来代替传统的转移函数（如 ReLU），并在适当减少高斯混合成分数量的情况下进行汇集，基于该架构的网络在封装 MNIST 和 ModelNet 数据集的高斯混合物上达到了竞争性的准确性。

Feb, 2022

神经网络高斯过程的比例混合

本文提出了一种基于高斯随机变量尺度混合的 NNGPs 模型，并利用先验分布在最后一层参数上引入尺度先验，使得任何架构的无穷宽神经网络都能转化为一种更丰富的随机过程，通过实验进一步证明了该模型在回归和分类任务方面的可行性和鲁棒性。

Jul, 2021

神经网络高斯过程的有限尺寸修正

研究使用高斯过程模拟神经网络的兴趣越来越浓厚，本研究针对具有单隐藏层的大规模有限完全连接网络展示了输出在初始化时的高斯分布，同时发现该扰动的尺度与神经网络单元的数量成反比例关系，高阶项逐渐衰减，进而回复到 Edgeworth 扩展的形式；最后观察到理解该扰动在训练期间如何改变，将有助于展示高斯过程框架在模拟神经网络行为时的适用范围。

Aug, 2019

使用浅层神经网络学习的生成模型的高斯等效性

通过研究神经网络在预训练生成模型产生的数据集上的训练和表现，探讨数据结构对学习的计算效率的影响，证明了高斯等价性可以使用一个适当选择的高斯模型来完全捕获感兴趣的关键性能指标。

Jun, 2020

从经验观察到普适性：基于高斯混合构建输入的深度学习动态

本研究通过深入研究具有展现高斯混合（GM）结构特征的输入的神经网络动力学来拓宽深度学习的理论框架的范围。我们分析了神经网络在具有 GM 结构输入下的动力学如何与基于简单高斯结构的传统理论的预测不同。我们的研究揭示了即使在标准化的 GM 输入下，神经网络动力学也会趋向于传统理论，突显出这种意外的普遍性。我们发现标准化，特别是与某些非线性函数相结合，对于这种现象起着关键作用。因此，尽管 GM 分布的复杂性和多样性，我们证明了神经网络在简单高斯框架下表现出符合预测的渐近行为。

May, 2024

高维高斯混合物的分类：核方法失败、神经网络成功

研究表明：在一些简单的分类任务中，只有少数隐藏神经元的两层神经网络可以超越核学习的性能，这是因为两层神经网络在高维极限下能够实现非常优秀的表现，并且节点超参数数目过多并不能提高其表现。

Feb, 2021

神经网络的平均场分析：中心极限定理

本文通过随机分析弱收敛方法证明单层神经网络模型在隐藏单元数量和随机梯度下降迭代次数均较大时存在中心极限定理；结果表明网络在平均场极限周围的波动符合高斯分布，并且满足一些随机偏微分方程。

Aug, 2018