研究发现神经网络在过参量化后，当行为符合核化线性预测器时，在梯度下降的训练下能找到最小 RKHS 范数解；与此不同的是，梯度下降在过参量化的多层网络上可能引入不是 RKHS 范数的丰富隐性偏差。本文基于 Chizat 和 Bach 的观察，展示了初始化规模是如何控制多层同质模型中的 “核”（也称惰性）和 “丰富”（也称活动）区域之间的转换并影响泛化属性的。我们对一个简单的两层模型进行了全面而详细的分析，已经展示了核与丰富区域之间有一个有趣和有意义的转换，并展示了矩阵分解模型和多层非线性网络的转换。

Jun, 2019

通过研究神经网络训练动态，探究权重参数在初始化过程中引入的各种因素之间的复杂相互作用，我们发现梯度下降可以快速将深层神经网络驱动至零训练误差，不论具体的初始化方案如何，只要输出函数的初始尺度超过一定阈值。这个区域被称为 theta-lazy 区域，突出了初始尺度在神经网络训练行为中的主导影响，同时我们还发现这个 theta-lazy 区域与神经切线核（NTK）范式有相似之处，但条件宽松。通过严格的分析，我们揭示了初始尺度 kappa 在神经网络训练动态中的关键作用。

Apr, 2024

该论文针对深度学习的 Neural Tangent Kernel 极限和 Mean-Field 极限进行了研究，发现不同的调参可以使得网络在 lazy training 和 feature training 两种状态下表现不同，并提出了一种中间状态下集合平均方法可以提高性能。

Jun, 2019

该研究通过神经切向核（NTK）模式下的梯度下降探讨了训练一层过度参数化的 ReLU 网络，其中网络的偏置被初始化为某个常量而不是零。该初始化的诱人好处是神经网络将可以在整个训练过程中保持稀疏激活，从而实现快速训练。结果表明，在稀疏化后，网络可以实现与密集网络一样快的收敛速度。其次，提供了宽度稀疏性的相关性，给出了一个稀疏性相关的 Rademacher 复杂度和泛化性能界限。最后，研究了极限 NTK 的最小特征值，发现可以使用可训练偏置来提高推广性。

Jan, 2023

该研究揭示了神经网络中特征学习的机制及其对学习速度、初始值的敏感性，并提供了使用不平衡初始化来增强高效特征学习的理论依据。

Jun, 2024

最近的研究表明，神经网络的宽度和深度对于所谓的丰富特征学习极限（μP 及其深层延伸）的缩放存在转移学习现象，从而降低了超参数调整的成本。本研究通过实证找到了学习率转移的实验证据，并得出结论，在 μP 及其深层延伸下，训练损失 Hessian（即锋度）的最大特征值与网络的宽度和深度在持续训练时间内基本上是独立的。

Feb, 2024

本文通过理论分析和数值实验，证明了惰性训练现象不仅仅局限于过度参数化的神经网络，同时也适用于其他优化问题，然而，在计算机视觉中，惰性训练并不适用于深度卷积神经网络的训练，这使得惰性训练很可能不是神经网络在高维任务中成功的原因之一。

Dec, 2018

本文研究了深度神经网络的泛化能力问题，探讨了其与神经切向核回归的关系，并分析了核的谱性质，得出了多层宽神经网络使用梯度下降等算法在早期停止时能够获得最佳性能的结论。

May, 2023

该研究调查了深度学习在计算统计差距存在的情况下的算法设计选择。通过考虑离线稀疏奇偶学习，一种多层感知器的梯度训练的统计查询下界，我们展示了稀疏初始化和增加网络宽度在样本效率方面的显著改进，以及合成稀疏奇偶任务对于需要轴对齐特征学习的真实问题的代理用途。

Sep, 2023

本文研究了具有大规模参数的人工神经网络，并探究了正态性的校正、宽神经网络的演化控制、与高概率训练的全局最小值等。

Apr, 2023