理解现代机器学习算法的泛化能力作为研究主题在过去几十年中备受关注。最近，随机梯度下降（SGD）的学习动态与重尾动态有关，这已成功应用于利用这些动态的分形属性的泛化理论中。然而，所推导出的界限依赖于超出计算能力的互信息（解耦）项。在本研究中，我们证明了一类重尾动态轨迹上的泛化界限，而无需这些互信息项。相反，我们通过比较基于经验风险的学习动态（依赖于群体风险）与基于预期风险的动态引入了一个几何解耦项。我们进一步利用重尾和分形文献中的技术对该几何项进行了上界限定，使其完全可计算。此外，为了收紧界限，我们提出了一个基于扰动动态的 PAC-Bayesian 设置，在该设置中，相同的几何项起着关键的作用，并且仍然可以使用上述描述的技术进行界定。

Dec, 2023

本文提出了一种使用 Feller 过程来逼近 SGD 轨迹以及使用 Hausdorff 维度控制相关广义误差的学习理论框架，同时提出了使用 Feller 过程的尾部指数作为 “容量度量” 的概念，可用于估计广义误差，并且与参数数量不同于现有文献中的容量度量。

Jun, 2020

本文提出了一种基于概率流方程和深度学习的高维 Fokker-Planck 方程求解方法，该方法比传统的随机微分方程求解方法更加准确和稳定，并能直接给出诸如概率流、概率密度、熵等量的估计值。

Jun, 2022

我们对时间非齐次变系数随机微分方程（SDE）提供了一种 Lyapunov 收敛分析。以过阻尼、不可逆驱动和欠阻尼 Langevin 动力学为例，我们首先将 Langevin 动力学的概率转移方程表示为相对于时间相关的最优传输度量在概率空间中 Kullback-Leibler 散度的修正梯度流。我们选择一种时间相关的相对 Fisher 信息函数作为 Lyapunov 函数，并发展了一个时间相关的 Hessian 矩阵条件，从而保证了 SDE 的概率密度函数的收敛性。我们验证了几种时间非齐次 Langevin 动力学的提出条件。对于过阻尼 Langevin 动力学，我们证明了带有强凸势函数的模拟退火动力学在 L^1 距离上的 O (t^{-1/2}) 收敛性。对于不可逆驱动 Langevin 动力学，在一个渐近区域内，我们证明了对目标分布的改进收敛性。我们还验证了欠阻尼 Langevin 动力学的收敛条件。数值例子证明了时间相关 Langevin 动力学的收敛结果。

Feb, 2024

通过探究 SGD 的轨迹依赖假设集，建立基于 Hausdorff 维数的 Rademacher 复杂度，并通过假设集稳定性推导具有预测力的 DNN 的新型泛化边界。

Jun, 2022

在这篇论文中，我们提出了一种用于推断由 Markov - 近似分数布朗运动（fBM）驱动的（神经）随机微分方程（SDEs）的新颖变分框架。我们结合了 SDEs 和变分方法的强大推断能力，通过随机梯度下降学习代表性函数分布。此外，我们还提出了一种使用神经网络学习变分后验中的漂移、扩散和控制项的方法，从而实现了神经 - SDEs 的变分训练。我们还优化了 Hurst 指数，控制分数噪声的性质。最后，我们提出了一种用于变分潜在视频预测的新型架构。

Oct, 2023

本研究研究了随机梯度下降（SGD）这种普遍使用的随机优化方法的泛化特性，提供了依赖于在 SGD 计算的迭代路径上评估的随机梯度的本地统计信息的泛化误差的理论上限，其关键因素是梯度的方差及目标函数沿 SGD 路径的局部光滑性以及损失函数对最终输出的扰动敏感度和信息理论泛化界限等。

Feb, 2021

本研究提出了一种新的视角来分析随机梯度下降，即将其作为一阶随机微分方程（SDE）的离散化，进而推导出了使得离散化后的系统与连续时间系统行为相似的步长条件，并分析了算法和问题参数对误差的影响。

Jun, 2019

本篇论文介绍了一种在求数值解过程中随机采样和网格方法之间插值的新型完全确定性框架，它在用对数梯度（分数）计算二个向前概率流的基础上，利用确定性粒子方法求解 Fokker-Planck 方程，计算所需的最佳干预。

Oct, 2021

本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

Jun, 2020