研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。

Oct, 2020

本论文研究了批归一化在梯度下降中的隐性偏差，证明了学习用批归一化的线性模型进行二进制分类时，梯度下降会以 $exp（-Ω（log^2 t））$ 收敛到训练数据上的均匀边缘分类器。这将批归一化的线性模型与不带批归一化的模型区分开来，其隐性偏差类型和收敛速率都不同。论文还将结果扩展到一类二层，单滤波器线性卷积神经网络，并证明批归一化隐含着对逐块均匀边缘的偏离。论文在两个例子中表明，对于某些学习问题，逐块均匀边缘分类器可以胜过最大边缘分类器。这些结果有助于更好地理解批归一化。

Jun, 2023

本文研究群等变卷积神经网络，在训练时隐式地通过具体的架构对模型进行正则化处理来实现其显式的对称性偏置，从而实现模型的推广。同时，文中还提出了傅里叶空间隐式正则化模型的解释，并通过实验证明了该模型的有效性。

Oct, 2021

分析了具有同质性激活函数的两层神经网络在无限宽的情况下的训练和泛化行为，并表明在存在低维结构的情况下，梯度流的极限可以完全表征为某些函数空间中的最大间隔分类器，并且具有强的泛化边界，在实践中符合两层神经网络的行为，并证明了其隐式偏差的统计优点。

Feb, 2020

本文研究在白化数据上，通过梯度下降来训练深度线性神经网络收敛到全局最优点的速度。当隐藏层数的维度不小于输入输出维度的最小值，并且初始化的权重矩阵大致平衡且初始损失小于任何秩缺失解时，可保证线性收敛。此外，在输出维度为 1 的情况下，即标量回归，这些条件是满足的，并且在随机初始化方案下具有恒定的概率达到全局最优解。

Oct, 2018

本研究通过实验对基于梯度下降的线性和 ReLU 网络的隐式正则化进行了探讨，并提供了卷积神经网络，$\ell_2$ 规范、归纳偏置、规范化器和梯度下降等方面的理论研究。

Feb, 2021

本文研究神经网络的学习和泛化性能，发现对于宽神经网络，学习动态变得简单，并且在无限宽度的极限下，它们由网络初始参数的一阶泰勒展开得到的线性模型控制。同时，通过在广义上拟合高斯过程的理论，揭示了神经网络可能表现出高斯过程的特性。

Feb, 2019

本研究发现，在无正则化的逻辑回归问题、线性可分数据集上，使用均匀线性预测器的梯度下降法会收敛于最大间隔解的方向。收敛速度缓慢，方法适用于其他单调递减的损失函数、多类别问题和某些受限情况下的深层网络训练。此研究还可帮助理解模型的隐式正则化和其他优化方法。

Oct, 2017

本篇论文研究了在线性可分数据上应用于深度线性网络的梯度流和梯度下降的风险收敛和渐进权重矩阵对齐 —— 一种隐式正则化方法，详细说明了在套用于严格递减损失函数时（梯度下降的递减步长也是如此）：(i) 风险趋近于 0；（ii）标准化的第 i 个权重矩阵渐进等于其秩 - 1 逼近；（iii）这些秩 - 1 矩阵在层之间对齐，即 |vi+1^Tv_i| -> 1。特别地，在逻辑损失（二元交叉熵）的情况下，还可以说更多的结论：网络激发的线性函数 —— 其权重矩阵的乘积 —— 趋向于与最大边际解同方向。这种性质在之前的工作中已被证明，但仅基于对梯度下降的假设，这里的对齐现象可以证明这些假设。

Oct, 2018

本文研究了 Leaky ReLU 神经网络的全局最优性，证明了线性可分对称数据上的梯度流算法能够收敛于全局最优的 “max-margin” 解，同时还对梯度下降在训练初期的 “简单度偏向” 现象进行了理论解释。

Oct, 2021