通过对深度线性神经网络的学习动态进行系统分析，我们发现这些网络表现出类似于非线性神经网络的非线性学习现象，包括长时间的平原，然后快速转换到更低误差的解决方案，以及从贪婪的无监督预训练初始条件下的更快收敛等。同时，我们发现在权重的某些特殊初始条件下，非监督预训练可以找到这些初始条件，同时表现出深度独立的学习时间，而随机高斯初始化则做不到。

Dec, 2013

通过研究神经网络的有效连接和信息分布的变化，发现网络的第一阶段训练对于后续模型的性能具有决定性的影响，同时遗忘（权重的信息减少）是达到表征学习中的不变性和解缠的关键，训练过程中出现的缺陷期不仅限于生物系统，也出现在学习动态和信息处理基础上的人工智能系统中。

Nov, 2017

本文研究神经网络学习的早期阶段，分析了神经网络在此期间的变化，发现深度网络在使用随机权重重初始化时不具有稳健性，但利用模糊输入或辅助自监督任务进行预训练即可近似监督网络的变化。

Feb, 2020

本文证明，对于一类良好行为的输入分布，一个双层全连接神经网络的早期学习动态可以通过在输入上训练简单的线性模型来模仿。关键在于通过约束初始时的神经切向核（NTK）和数据核的仿射变换之间的谱范数差异来赋值。我们还表明，这种令人惊讶的简单性可以在更多层和具有卷积结构的网络中持续存在，验证了这一点。

Jun, 2020

在深度神经网络训练中，训练动力学与损失面的几何形态和时空变化紧密关联，揭示了深度学习过程中快速的混沌瞬变和稳定状态之间的显著关系。

Oct, 2020

通过引入门控深度线性网络框架，研究网络结构对学习动态产生的影响并理解它与任务之间的关系，表明结构化网络中的学习动态可以被概念化为具有向共享表示的神经竞赛，我们的分析为神经网络架构与学习之间的关系提出了一般性假设，并提供了理解更复杂架构设计以及模块化和组合在解决现实问题中起的作用的数学方法。

Jul, 2022

临界学习期是指在发育的早期阶段，暂时的感觉缺陷可能对行为和学到的表示产生永久影响，无论是在生物网络还是人工网络中都有实验证明了临界学习期的存在，这表明临界学习期可能对学习具有基础性的作用。然而，为什么深度网络中会出现临界学习期仍然是一个未解的问题，尤其是尚不清楚两种系统中观察到的临界学习期是否依赖于特定的架构或优化细节。为了分离出潜在的关键因素，我们着重研究深度线性网络模型，并展示了一些意外的结果，即这样的网络在表现上也展示出了生物和人工网络中所观察到的行为，而且还可以进行分析处理。我们证明了临界学习期取决于模型的深度和数据分布的结构。我们还通过分析和模拟展示了特征学习与来源之间的竞争关系。最后，我们将我们的分析扩展到多任务学习中，以展示在某些任务上的预训练会损害对新任务的转移性能，并展示了这与任务之间的关系以及预训练阶段的持续时间有关。据我们所知，我们的工作提供了第一个可以进行解析处理的模型，揭示了为什么生物和人工网络中会出现临界学习期的原因。

Aug, 2023

通过对参数的演化，我们全面分析了深度神经网络的学习动态，发现存在三个阶段：接近恒定的重建损失、下降和上升。我们还通过经验实证建立了数据模型，并对单层神经网络证明了阶段的存在。我们的工作为迁移学习提供了新的最佳实践：通过实验证明预训练的分类器在性能达到最优之前应该停止。

Dec, 2023

在这篇研究中，我们展示了实证和理论上的结果，证明深度神经网络在学习目标函数之前存在一个早期阶段，其中网络学习最佳常数解（OCS），即初始模型的响应与目标标签的分布相匹配，完全忽略输入中提供的信息。通过使用分层类别学习任务，我们推导出具有偏移项训练的深度线性网络学习动力学的精确解。即使初始化为零，这个简单的结构特征也会引起早期动力学的显著变化。我们确定了这个早期OCS阶段的特征，并说明了这些特征在深度线性网络和更复杂（非线性）卷积神经网络在基于MNIST和CIFAR10的分层学习任务中的观察结果。我们通过证明深度线性网络在早期学习过程中必然学习OCS来解释这些观察结果。为了进一步探索我们结果的普遍性，我们训练人类学习者在三天的课程中进行类别学习任务。然后，我们通过真实负样本（正确拒绝）率的动态性质确定了这个早期OCS阶段的定性特征。令人惊讶的是，我们发现人类学习者的行为中也存在对OCS的早期依赖。最后，我们证明OCS的学习甚至可以在没有偏移项的情况下出现，并且同样受到输入数据中的通用相关性的驱动。总体上，我们的研究表明OCS是一种在监督式纠错学习中普遍存在的学习原则，并阐明了其普遍性的机制原因。

Jun, 2024

本研究解决了深度神经网络（DNN）学习交互的动态特性这一问题。提出了一个新的理论框架，揭示了DNN如何在不同复杂性的交互之间逐渐编码，从而解释了其从欠拟合到过拟合的泛化能力变化。实验结果表明，该理论能有效预测多种DNN在不同任务上的实际学习动态。

Jul, 2024