研究浅层神经网络的训练动态，证明了在内层步长远小于外层步长的两个时间尺度范围内，梯度流收敛于非凸优化问题的全局最优解，这依然成立即使神经元数量不是渐近大，与神经切向核或平均场逼近等最近流行的方法有所区别，并通过实验证明，随机梯度下降符合我们的梯度流描述，并在两个时间尺度范围内收敛到全局最优解，但在此范围之外可能失败。

Apr, 2023

本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

Apr, 2018

本文探讨了梯度下降在高维中非凸优化领域的应用，通过对浅层网络和窄网络的研究分析了其在全局收敛和局部最小值上的不同表现，研究了随机梯度下降的高维度动态学习中学习率、时间尺度和隐藏单元数量之间的相互作用，并提供了统计物理学中基于确定性描述的 SGD 收敛速率的扩展分析。

Feb, 2022

本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

Feb, 2019

本文在均场条件下证明了三层无正则化前馈神经网络的全局收敛性，首先建立起三层网络的均场极限，并证明了在合适的收敛模式假设和正则性假设下具有全局收敛保证。

May, 2021

在这篇论文中，我们通过核方法的视角研究了两层神经网络在均场极限下的特征学习能力。我们利用两个时间尺度的极限来聚焦于第一层产生的核动态，从而将学习问题转化为对内在核的最小化问题。我们还展示了均场 Langevin 动力学的全局收敛性，并推导了时间和粒子离散化误差。此外，我们证明了两层神经网络可以比任何核方法更高效地学习多个再现核希尔伯特空间的并集，并且神经网络可以获得与目标函数对齐的数据相关核。我们还开发了一种标签噪声过程，该过程收敛到全局最优解，并展示了自由度作为一种隐式正则化现象。

Mar, 2024

本文研究如何找到混合纳什均衡来解决均场双人零和博弈问题，提出了基于 Wasserstein 梯度流的动态和基于 Langevin 梯度下降的方法，并在不同问题上进行了测试。

Feb, 2022

该研究在连续和离散时间设置下，针对正则化的目标函数给出了关于均值场 Langevin 动力学的简洁、自包含的收敛速率分析。作者证明了命题的关键在于该理论的复合推广的 Gibbs 分布。作者发现该分布与经验风险最小化中的对偶间隙存在关联，这可能使算法收敛的经验评估更加有效。

Jan, 2022

本文研究了初始接近原点的两均勻神經網絡的梯度流動力學，對於方塊和邏輯損失，會有足夠長的時間在原點的附近，使神經網絡的權重大約收斂於量化神經網絡輸出和相應標籤在訓練數據集上相關性的 Karush-Kuhn-Tucker（KKT）點；方塊損失下神經網絡經常在接近原點的地方產生鞍點，本文在此基礎上展示了小幅度權重在某些鞍點附近的類似方向收斂。

Feb, 2024

研究使用梯度算法时非凸问题的抽象理论，利用无穷维度状态空间和概率密度函数最小化能量函数，并研究该梯度流的收敛性。

May, 2019