通过研究在浅层神经网络中使用梯度下降方法的稀疏高维函数，展示了它们在线性模型之外进行特征学习的能力。本研究扩展了这一框架，探索了高斯设置以外的情景，并通过假设在高维情形下可以有效地恢复未知方向。
Jul, 2023
在对称神经网络的设置下，通过对激活函数进行分析和对连接函数进行最大度数的假设，我们证明了梯度流可以恢复隐藏的预设方向，该方向在幂和多项式特征空间中表示为一个有限支持的向量，并刻画了适应我们设置的信息指数概念来控制学习的效率。
Oct, 2023
通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。
Jun, 2020
本文研究了与从数据中学习深度线性神经网络（其中激活函数为恒等映射）相关的梯度流的收敛性，结果表明梯度流总是收敛于潜在函数的临界点。
Oct, 2019
研究了线性神经网络训练中渐进流（即用无穷小步长的梯度下降法）的隐含偏差；提出了神经网络的张量形式，包括全连接、对角线和卷积网络等特例，并研究了称为线性张量网络的公式的线性版本。通过这个公式，我们可以将网络的收敛方向表征为由网络定义的张量的奇异向量。
Oct, 2020
提出了一种矩阵值多核学习框架，可用于高维非线性多元回归问题，并使用广泛的 Mixed Norm Regularizers 支持字典的向量值再现核希尔伯特空间上的疏松度约束；通过该框架，高维因果推断任务可被自然地看作稀疏函数估计问题进行，从而引出了一类新的图形 Granger 因果分析技术的非线性扩展。
Aug, 2014
本文介绍了一种基于梯度的凸优化算法，提出了一种广义框架用于设计具有最强收敛保证的加速优化算法，该算法进一步扩展到一类非凸函数，具有 Polyak-Łojasiewicz 不等式，并且证明了 GenFlow 算法和其动量版本可以在固定时间内收敛于最优解，特别是对于存在非退化鞍点的函数，该算法可以均匀地控制逃离这些鞍点所需的时间。同时在一系列基准数据集上验证了该算法的优异性能。
Dec, 2022
本文通过分析 Gradient Flow 在目标函数收敛时的性质，提供了 SGD 收敛的一般条件，研究了 Lyapunov potentials 与目标函数几何性质的关联，并给出了 SGD 收敛的保证，适用于一些复杂问题。
Oct, 2022
神经网络通过高维嘈杂的数据识别低维相关结构，我们对其工作原理的数学理解仍然有限。本文研究了使用基于梯度的算法训练的两层浅层神经网络的训练动态，并讨论了它们在具有低维相关方向的多指标模型中学习相关特征的方式。
May, 2024
矩阵感知是从少量线性测量中重建低秩矩阵的问题，我们引入了连续微分方程，称其为 “扰动梯度流”，通过边界足够有界的累计误差，证明扰动梯度流迅速收敛到真实目标矩阵，从而提供了一种基于梯度下降的非对称矩阵感知的新证明方法。
Sep, 2023