本文提出了一种适用于 Riemann 流形上低秩矩阵恢复问题的新的全局分析框架，其中使用 Riemann 梯度下降算法最小化最小二乘损失函数，并研究了渐近行为以及精确收敛速率。

Dec, 2020

本文证明了通过梯度流学习方法得到的深层同质网络权重会趋向于收敛，并阐述了相应的研究内容，包括但不限于梯度流、分类损失、边缘最大化、显著图等方面。

Jun, 2020

通过神经网络梯度下降在 Riemannian 度量空间中建立流的理论，以近似 Calabi-Yau 度量为动机，并且通过理解神经网络空间中的流进而实现。通过推导相应的度量流方程，我们发现其受到度量神经切向核的控制，这是一个在时间中演化的复杂的非局部对象。然而，许多体系结构可以进行无限宽度的极限，其中核固定且动力学简化。额外的假设可以引入流动的局部性，从而实现 Perelman 的 Ricci 流形式，该流形式曾被用于解决 3D Poincaré 猜想。我们将这些思想应用于数值 Calabi-Yau 度量，包括对特征学习重要性的讨论。

Oct, 2023

研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。

Oct, 2020

本文研究在白化数据上，通过梯度下降来训练深度线性神经网络收敛到全局最优点的速度。当隐藏层数的维度不小于输入输出维度的最小值，并且初始化的权重矩阵大致平衡且初始损失小于任何秩缺失解时，可保证线性收敛。此外，在输出维度为 1 的情况下，即标量回归，这些条件是满足的，并且在随机初始化方案下具有恒定的概率达到全局最优解。

Oct, 2018

该研究通过梯度流优化模型，研究宽神经网络中的特征学习和训练损失收敛问题，证明了一定条件下训练损失会以线性速率收敛于零，并展示了该模型的学习特性和推广能力。

Apr, 2022

本篇论文研究了在线性可分数据上应用于深度线性网络的梯度流和梯度下降的风险收敛和渐进权重矩阵对齐 —— 一种隐式正则化方法，详细说明了在套用于严格递减损失函数时（梯度下降的递减步长也是如此）：(i) 风险趋近于 0；（ii）标准化的第 i 个权重矩阵渐进等于其秩 - 1 逼近；（iii）这些秩 - 1 矩阵在层之间对齐，即 |vi+1^Tv_i| -> 1。特别地，在逻辑损失（二元交叉熵）的情况下，还可以说更多的结论：网络激发的线性函数 —— 其权重矩阵的乘积 —— 趋向于与最大边际解同方向。这种性质在之前的工作中已被证明，但仅基于对梯度下降的假设，这里的对齐现象可以证明这些假设。

Oct, 2018

通过带约束的极小化问题，研究以 Legendre 型的凸函数诱导的 Hessian 黎曼度量的梯度流。通过一系列引理得到了 Hessian 黎曼结构与变分不等式具有特定的积分性质的凸集的积分值，给出了 Bregman 类型距离的新动机。接着，引入了一般演变问题，并给出了微分包含的修正。在拟凸条件下，证明了一般存在和全局收敛性，对于凸最小化问题，有一些有趣的细节。讨论了一些这些梯度流的显式例子。鉴定了双轨迹，并考虑了带有正性和等式约束的凸程序的双重收敛的充分条件。建立了一些收敛速率结果。

Nov, 2018

通过研究定义在无限维函数类上的极小极大优化问题，我们限定函数在过度参数化的两层神经网络类上，并研究（i）梯度下降 - 上升算法的收敛性和（ii）神经网络的表示学习。

Apr, 2024

通过深度为 2 的矩阵分解及理论和实证证据，我们证明了梯度流（用无穷小初始化）等价于一个简单的启发式秩量化算法，同时对深度大于等于 3 的情况进行了扩展，并证明了深度的优势在于对初始化幅度的弱依赖性，因此这种秩量化更可能在实践中起作用。

Dec, 2020