研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。

Oct, 2020

針對兩層完全連接的 (leaky) ReLU 神經網絡，研究梯度下降的隱含偏差，並證明梯度下降在訓練中會找到收斂於 1 的具有穩定排名的神經網絡，對於 ReLU 激活函數則收斂於一個上界常數，同時所有訓練數據點的標準化邊界漸進地相同。實驗結果對我們的理論結果進行了驗證。

Oct, 2023

我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN 中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解 DNN 中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。

Feb, 2024

深度学习中的低秩偏好与神经网络的神经层塌陷现象相关，权重衰减参数的增长导致网络中每一层的秩与前一层隐藏空间嵌入的类内变异成正比减少。

Feb, 2024

研究表明，完全连接的神经网络在非线性齐次时的表示成本收敛于非线性函数的排序上，然后研究了何时可以恢复数据的 “真实” 排名，最后发现自编码器具有最优非线性排名是自然的去噪声的。

Sep, 2022

分析了具有同质性激活函数的两层神经网络在无限宽的情况下的训练和泛化行为，并表明在存在低维结构的情况下，梯度流的极限可以完全表征为某些函数空间中的最大间隔分类器，并且具有强的泛化边界，在实践中符合两层神经网络的行为，并证明了其隐式偏差的统计优点。

Feb, 2020

通过训练一个从一个小初始值开始的任意宽度的一层 ReLU 神经网络来证明，对于学习单个神经元的基本回归任务，该网络能收敛于零损失并隐含有利于最小化网络参数秩的偏见。

Jun, 2023

本文探讨了超参数神经网络中大于两层的隐式偏差。通过添加线性层，可以优化神经网络的表示成本，并提高实际子空间的准确匹配度与预测性能。

May, 2023

本文提出深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度，初始化和训练过程中都存在，并且能够提高 CIFAR 和 ImageNet 数据集的泛化性能。

Mar, 2021

本篇论文研究了在线性可分数据上应用于深度线性网络的梯度流和梯度下降的风险收敛和渐进权重矩阵对齐 —— 一种隐式正则化方法，详细说明了在套用于严格递减损失函数时（梯度下降的递减步长也是如此）：(i) 风险趋近于 0；（ii）标准化的第 i 个权重矩阵渐进等于其秩 - 1 逼近；（iii）这些秩 - 1 矩阵在层之间对齐，即 |vi+1^Tv_i| -> 1。特别地，在逻辑损失（二元交叉熵）的情况下，还可以说更多的结论：网络激发的线性函数 —— 其权重矩阵的乘积 —— 趋向于与最大边际解同方向。这种性质在之前的工作中已被证明，但仅基于对梯度下降的假设，这里的对齐现象可以证明这些假设。

Oct, 2018