超参数化的两层ReLU神经网络学习研究: 从NTK出发
本文研究表明，在神经网络中使用ReLU激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。
Oct, 2018
提出了一种学习两层神经网络的新算法，仅需对称输入的条件下，使用基于矩估计的方法结合张量分解的扩展与谱算法，可以在许多对称输入分布下更少的样本数量下稳健地恢复神经网络的参数。
Oct, 2018
该论文分析了一个简单的2层ReLU网络的训练和泛化，通过对相关内核的特性进行追踪，提出了更紧致的训练速度特征描述和网络大小无关的泛化界限以及对梯度下降训练的广泛平滑函数可学性的证明。
Jan, 2019
在均场模型下，用梯度下降训练双层ReLU网络时，我们描述了最小贝叶斯风险收敛的必要和充分条件。该条件不依赖于参数的初始化，只涉及神经网络实现的弱收敛，而不是其参数分布。
May, 2020
本文研究了过度参数化对于神经网络构建优化的成功至关重要的原因，并发现过度参数化下的神经网络具有非常稳定的收敛性质，其学生节点不断向教师节点收敛，并有一个漂亮的收敛速率定理，该速率与学生节点的数量无关。
Feb, 2021
本文研究具有ReLU激活函数且没有偏差项的两层神经网络的神经切向核（NTK）模型的min（L2）-norm过拟合解的泛化性能，并显示随着神经元数目p的增加，测试误差表现出不同于具有简单傅里叶或高斯特征的过度参数化线性模型的“双峰现象”的特征。
Mar, 2021
本文研究两层神经网络的ReLU激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和Adam优化器更快、更准确地求解深度值，并且该方法没有调参困扰。
Apr, 2023
研究了两层轻度超参数化ReLU神经网络对于平方误差丢失函数的一般有限输入数据集的损失景观，使用Jacobean的秩来界定局部和全局极小值集合的维度，并利用随机二进制矩阵的结果证明大多数激活模式对应于没有坏的可微局部极小值的参数区域。
May, 2023
通过在生成由NTK引起的再生核希尔伯特空间（RKHS）中结合降噪核近似和收敛性分析的方法，本研究对将随机梯度下降（SGD）算法应用于过参数化的两层神经网络的收敛速度进行了全面研究，以提供对SGD在过参数化的两层神经网络中收敛行为的深入理解，探索了核方法和优化过程之间复杂的相互作用，为神经网络的优化动力学和收敛性质提供了启示。研究还在对神经元数量的约束上取得了重要进展，将其从指数关系减少到多项式关系，这一改进使神经网络的设计和扩展更加灵活，并将加深我们对用SGD训练的神经网络模型的理论理解。
Jul, 2024
本文研究了使用ReLU激活函数的两层全连接神经网络的最小二乘回归问题，提出了一种在有限宽度的ReLU网络中实现良性过拟合的理论框架。通过对过度风险的分解，我们能够避免均匀收敛的陷阱，并证明了在数据拟合过程中，相同设置下的训练网络会过拟合数据。这一研究为各类回归函数提供了新的理解和策略。
Oct, 2024