本文提出了一个名为 “隐藏流形模型” 的生成模型，证明了随机梯度下降算法训练的两层神经网络表现的动态可以通过 Integro-differential 方程组进行跟踪，同时分析了神经网络训练过程中神经网络学习增加复杂度和提高性能的方式以及受其大小、学习率和隐藏流形维度等参数的影响。

Sep, 2019

本文研究无限宽深层神经网络和高斯过程的等价性，提出一种计算高斯过程协方差函数的有效方法，并使用该方法在 MNIST 和 CIFAR-10 上进行了贝叶斯推断，在网络宽度增加时，训练神经网络的准确率和 GP 预测的不确定性分别增加，而有限宽度训练网络越接近 GP，测试性能越好，GP 预测通常优于有限宽度网络的预测，最后将这些 GP 的性能与随机神经网络的信号传播理论相联系。

Nov, 2017

本文研究神经网络和高斯过程之间的关系，证明了贝叶斯神经网络的高斯后验近似等同于高斯过程的后验。在训练神经网络时，利用高斯过程的边缘似然函数来调整神经网络的超参数，得到的核函数是神经切向核。我们的工作旨在促进进一步将神经网络和高斯过程在实际应用中相结合的研究。

Jun, 2019

这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

Jan, 2024

本研究通过深入研究具有展现高斯混合（GM）结构特征的输入的神经网络动力学来拓宽深度学习的理论框架的范围。我们分析了神经网络在具有 GM 结构输入下的动力学如何与基于简单高斯结构的传统理论的预测不同。我们的研究揭示了即使在标准化的 GM 输入下，神经网络动力学也会趋向于传统理论，突显出这种意外的普遍性。我们发现标准化，特别是与某些非线性函数相结合，对于这种现象起着关键作用。因此，尽管 GM 分布的复杂性和多样性，我们证明了神经网络在简单高斯框架下表现出符合预测的渐近行为。

May, 2024

本文研究神经网络的学习和泛化性能，发现对于宽神经网络，学习动态变得简单，并且在无限宽度的极限下，它们由网络初始参数的一阶泰勒展开得到的线性模型控制。同时，通过在广义上拟合高斯过程的理论，揭示了神经网络可能表现出高斯过程的特性。

Feb, 2019

使用深度玻尔兹曼机、深度置信网络和深度限制玻尔兹曼网络对二维 Ising 系统进行非监督生成建模，比较与浅层架构的有限玻尔兹曼机的效果，并发现只有第一隐藏层的神经元数量对于生成能量观测量的准确度有影响，而架构的深度和模型类型对于准确度的影响很小，这证明在表示与 Ising 系统的临界概率分布相关的物理概率分布时，浅层网络比深度神经网络更有效率。

Aug, 2017

通过实验证明，在一些条件成立的情况下，随着最后一个隐藏层的宽度越来越大，完全连接的前馈深度随机神经网络收敛到了一个高斯混合分布。此外，对于一个支持我们结果的简单模型，我们还给出了详细的收敛描述，即，最后一个隐藏层的增长让分布更接近高斯混合分布，其余层逐渐使高斯混合分布更接近正态分布。

Apr, 2022

我们研究了使用参数化单量子比特门和固定双量子比特门构建的量子神经网络，研究表明在无限宽度限制下，随机初始化参数的未训练网络生成的函数的概率分布收敛于高斯过程。通过梯度下降法对网络进行训练时，网络可以完美拟合训练集，并且训练后生成的函数概率分布仍然收敛于高斯过程。测量结果的统计噪声对网络的影响在多项式数量的测量下是可忽略的，而且网络的训练时间也是多项式级别的。

Feb, 2024

对使用两层神经网络进行信息理论分析的研究，研究了限制数据和模型的情况下神经网络的性能极限，结果表明这个性能极限取决于训练数据的数量、输入维度和隐藏单元的数量

Jul, 2023