通过对深度线性神经网络的学习动态进行系统分析，我们发现这些网络表现出类似于非线性神经网络的非线性学习现象，包括长时间的平原，然后快速转换到更低误差的解决方案，以及从贪婪的无监督预训练初始条件下的更快收敛等。同时，我们发现在权重的某些特殊初始条件下，非监督预训练可以找到这些初始条件，同时表现出深度独立的学习时间，而随机高斯初始化则做不到。

Dec, 2013

本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。

May, 2018

研究深度神经网络的学习动态，主要关注于二元分类问题。我们证明了网络学习的各种性质，并且在非线性架构下，分类误差也呈现出sigmoid形状，证实了经验观察。我们指出了梯度饱和现象和特征频率对模型收敛速度的影响，并探讨了交叉熵和hinge损失对生成对抗网络训练的差异。最后，我们提出了梯度饥饿现象并进行了研究。

Sep, 2018

本文研究了生物可行的监督学习和强化学习规则，并提出了一种基于观察神经网络活动变化鉴别学习规则的方法，进而应用于大脑机器接口实验中，以模拟光标控制任务。

Jun, 2022

通过引入门控深度线性网络框架，研究网络结构对学习动态产生的影响并理解它与任务之间的关系，表明结构化网络中的学习动态可以被概念化为具有向共享表示的神经竞赛，我们的分析为神经网络架构与学习之间的关系提出了一般性假设，并提供了理解更复杂架构设计以及模块化和组合在解决现实问题中起的作用的数学方法。

Jul, 2022

本文利用定时自动机来介绍一系列监督学习任务，建立在隐藏时间变量和复杂性直接可控的行为模型基础上，通过研究倒置的时间特征，证明基于动态系统理论的工具可以不仅提供模型学习方案的见解而且能够证明训练过程的动力学。

Jun, 2023

提出了一种可以捕捉多种学习协议的RL可解高维模型，并将其典型动态推导为一组封闭形式ODE，我们推导出了学习率和任务难度的最优计划，同时还展现了丰富的行为，包括稀疏奖励下的延迟学习;因奖励基线的不同而产生的各种学习模式;以及由奖励严格性驱动的速度-准确性权衡。 与“Bossfight”的Procgen游戏和Arcade Learning Environment游戏“Pong”的变体的实验还表明，在实践中存在速度-准确性权衡问题。

Jun, 2023

本研究使用统计物理学的理论，研究了具有线性函数逼近器的时间差分学习的典型学习曲线。通过对小型马尔可夫决策过程进行验证，发现随机半梯度噪声导致价值误差的显著平台现象，并分析了如何使用学习率退火和奖励塑形等策略促进学习动态和平台的优化。

Jul, 2023

通过分析网络轨迹和学习过程中的动力学特性，研究了浅层神经网络在简单分类任务中的演化过程，发现不同学习速率下的动力学和轨道稳定性，这一发现与神经网络和动力学系统理论的常见智慧相对照，为动力系统理论、网络理论和机器学习之间的相互交流提供了贡献。

Apr, 2024

在这篇研究中，我们展示了实证和理论上的结果，证明深度神经网络在学习目标函数之前存在一个早期阶段，其中网络学习最佳常数解（OCS），即初始模型的响应与目标标签的分布相匹配，完全忽略输入中提供的信息。通过使用分层类别学习任务，我们推导出具有偏移项训练的深度线性网络学习动力学的精确解。即使初始化为零，这个简单的结构特征也会引起早期动力学的显著变化。我们确定了这个早期OCS阶段的特征，并说明了这些特征在深度线性网络和更复杂（非线性）卷积神经网络在基于MNIST和CIFAR10的分层学习任务中的观察结果。我们通过证明深度线性网络在早期学习过程中必然学习OCS来解释这些观察结果。为了进一步探索我们结果的普遍性，我们训练人类学习者在三天的课程中进行类别学习任务。然后，我们通过真实负样本（正确拒绝）率的动态性质确定了这个早期OCS阶段的定性特征。令人惊讶的是，我们发现人类学习者的行为中也存在对OCS的早期依赖。最后，我们证明OCS的学习甚至可以在没有偏移项的情况下出现，并且同样受到输入数据中的通用相关性的驱动。总体上，我们的研究表明OCS是一种在监督式纠错学习中普遍存在的学习原则，并阐明了其普遍性的机制原因。

Jun, 2024