本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

该研究介绍了两种机器学习建模方法 —— 不变性随机特征和不变性核方法，其中不变性核方法包括全局平均池化的卷积神经网络的神经切比雪夫核。研究表明，建立不变性机制使得机器学习模型样本容量和隐藏层单元数量成指数降低，从而在保持测试误差不变的情况下提高统计效率。此外，研究表明，数据增广与无结构核估计等价于一个不变性核估计，具有相同的统计效率。

Feb, 2021

本文研究深度全连接网络从可近似角度看与其两层浅神经网络等价，表明其泛化能力在某些方面受限于核函数框架，提出一种基于核函数的特征值分析方法。

Sep, 2020

完全连接的深度神经网络，其权重从独立的高斯分布初始化，可以调整到临界状态，阻止信号在网络中传播时呈指数增长或衰减。然而，这种网络仍然会表现出与网络深度线性增长的波动，这可能会削弱与深度相当的宽度网络的训练。我们在理论上证明了矩形网络与双曲正切激活函数以及从正交矩阵集合初始化权重，其相应的预激活波动与深度无关，以逆宽度为导数阶主导。此外，我们通过数值实验表明，初始化时在逆宽度方向上控制可观测量的演变的神经切向核（NTK）及其后代涉及的相关者的饱和深度约为 20，而不像高斯初始化的情况下无限增长。我们推测这种结构保留了有限宽度特征学习的同时，降低了整体噪声，从而改善了泛化能力和训练速度。通过将 NTK 的经验测量与深度非线性正交网络在 MNIST 和 CIFAR-10 分类任务上的卓越性能联系起来，我们提供了一些实验上的证明。

Oct, 2023

本研究通过实验对基于梯度下降的线性和 ReLU 网络的隐式正则化进行了探讨，并提供了卷积神经网络，$\ell_2$ 规范、归纳偏置、规范化器和梯度下降等方面的理论研究。

Feb, 2021

本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率，说明了两种不同的情况：同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。

Feb, 2021

神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词，论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构，它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核，同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。

Apr, 2024

本文研究了深度卷积体系结构的多尺度不变表示问题，提出了基于卷积核网络的多层核方法，分析了核映射引起的几何学效应，表明可以将数据表示与学习分离，提出了模型复杂度的规范化测量，即控制所学模型的稳定性和泛化能力的重复核希尔伯特空间规范，证明了已有卷积神经网络能够映射到该空间中。

Jun, 2017

使用 ReLU 激活函数和 Free Knot Splines 等传统方法进行浅层神经网络的一维函数逼近问题的研究，通过优化 ReLU NN 的训练程序，结合等分布原理提供了一种可靠的方法来获得准确的 ReLU NN 逼近目标函数的结果。

Jul, 2024

本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

Feb, 2019