Jan, 2022

均场 Langevin 动力学的凸分析

PDF
TL;DR该研究在连续和离散时间设置下，针对正则化的目标函数给出了关于均值场 Langevin 动力学的简洁、自包含的收敛速率分析。作者证明了命题的关键在于该理论的复合推广的 Gibbs 分布。作者发现该分布与经验风险最小化中的对偶间隙存在关联，这可能使算法收敛的经验评估更加有效。
发现论文，激发创造
  • 神经网络的平均场 Langevin 动力学和能量景观

    研究使用梯度算法时非凸问题的抽象理论，利用无穷维度状态空间和概率密度函数最小化能量函数，并研究该梯度流的收敛性。

    May, 2019

  • 均场 Langevin 动力学的收敛性：时间和空间离散化、随机梯度和方差缩减

    本文提出了一个新的框架来证明具有有限粒子逼近，时间离散化和随机梯度逼近误差的 MFLD 的混沌传播具有时间一致性，并在学习问题和不同梯度估计器的广泛范围内建立了量化的收敛速率保证，包括 SGD 和 SVRG 算法。

    Jun, 2023

  • 通过松弛最优控制的均场神经 ODE

    本文介绍了一种基于控制论、深度学习和统计抽样理论的框架，来研究深度神经网络和神经 ODE 模型，包括 Mean-Field Langevin 动力学的梯度流、时间一致传播的混沌性等问题，并提供了与学习速率、粒子数 / 模型参数和梯度算法迭代次数相关的显式收敛速率和量化一般化误差界限。

    Dec, 2019

  • 随机梯度和朗之万过程

    我们研究了 Langevin 过程和随机微分方程，证明了它们收敛于相关稳定分布的数量化收敛速度，应用于非凸问题的随机梯度下降算法的收敛性分析和实验.

    Jul, 2019

  • 神经梯度下降上升的均场分析：应用于功能条件矩方程

    通过研究定义在无限维函数类上的极小极大优化问题，我们限定函数在过度参数化的两层神经网络类上，并研究（i）梯度下降 - 上升算法的收敛性和（ii）神经网络的表示学习。

    Apr, 2024

  • 高斯混合分类中随机梯度下降的动力学平均场理论

    通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。

    Jun, 2020

  • 机器学习算法在数值均场控制和博弈中的收敛性分析：第 Ⅱ 部分 -- 有限时间域情形

    提出了两种基于神经网络参数的损失函数的数值方法，用于有限时间视野下的 McKean-Vlasov 动力学的最优控制，为确定如何近似于原始均场控制问题的解，引入了一种新的优化问题，并提供了误差率的严格说明。

    Aug, 2019

  • 基于 Langevin 动力学的非凸优化算法的全局收敛性

    本文提出了强化的 Langevin dynamics 算法和分析框架，理论证明了全局收敛性，能在各自的梯度复杂度内接近极小值。

    Jul, 2017

  • Stein 变分梯度下降的尺度极限：平均场极限

    该研究通过研究与 Stein 变分梯度下降相关的相互作用粒子系统，在大粒子极限下，粒子系统的经验测量收敛于非局部和非线性 PDE 的解，并证明此限制 PDE 的解的全局存在、唯一性和正则性，最终证明了 PDE 的解在长期限制下收敛于唯一的不变解。

    May, 2018

  • 改进的均场神经网络的粒子逼近误差

    通过改进粒子近似误差的对数 Sobolev 不等式常数依赖性，我们展示了 MFLD 的收敛性提高、对均场稳态分布的采样保证以及粒子复杂度的统一随时间的 Wasserstein 传播。

    May, 2024