Jun, 2023

均场 Langevin 动力学的收敛性：时间和空间离散化、随机梯度和方差缩减

PDF
TL;DR本文提出了一个新的框架来证明具有有限粒子逼近，时间离散化和随机梯度逼近误差的 MFLD 的混沌传播具有时间一致性，并在学习问题和不同梯度估计器的广泛范围内建立了量化的收敛速率保证，包括 SGD 和 SVRG 算法。
发现论文，激发创造
  • 改进的均场神经网络的粒子逼近误差

    通过改进粒子近似误差的对数 Sobolev 不等式常数依赖性，我们展示了 MFLD 的收敛性提高、对均场稳态分布的采样保证以及粒子复杂度的统一随时间的 Wasserstein 传播。

    May, 2024

  • 神经网络的平均场 Langevin 动力学和能量景观

    研究使用梯度算法时非凸问题的抽象理论，利用无穷维度状态空间和概率密度函数最小化能量函数，并研究该梯度流的收敛性。

    May, 2019

  • 通过松弛最优控制的均场神经 ODE

    本文介绍了一种基于控制论、深度学习和统计抽样理论的框架，来研究深度神经网络和神经 ODE 模型，包括 Mean-Field Langevin 动力学的梯度流、时间一致传播的混沌性等问题，并提供了与学习速率、粒子数 / 模型参数和梯度算法迭代次数相关的显式收敛速率和量化一般化误差界限。

    Dec, 2019

  • 均场 Langevin 动力学的凸分析

    该研究在连续和离散时间设置下，针对正则化的目标函数给出了关于均值场 Langevin 动力学的简洁、自包含的收敛速率分析。作者证明了命题的关键在于该理论的复合推广的 Gibbs 分布。作者发现该分布与经验风险最小化中的对偶间隙存在关联，这可能使算法收敛的经验评估更加有效。

    Jan, 2022

  • 高斯混合分类中随机梯度下降的动力学平均场理论

    通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。

    Jun, 2020

  • 随机梯度朗逊动力学的非凸学习：非渐近分析

    使用加权运输成本不等式来量化 SGLD 在欧几里得 2 - 瓦瑟斯坦距离下收敛到随机分布的速率，并在非凸学习问题的背景下提供有限时间保证来找到两种风险的近似最小化器。

    Feb, 2017

  • 基于 Langevin 动力学的非凸优化算法的全局收敛性

    本文提出了强化的 Langevin dynamics 算法和分析框架，理论证明了全局收敛性，能在各自的梯度复杂度内接近极小值。

    Jul, 2017

  • 随机梯度 Langevin 动力学的优缺点

    本文研究了基于大规模数据集的贝叶斯学习的关键 MCMC 算法，发现当前常用的 SGLD 算法存在问题，但通过引入控制变量后的 SGLD Fixed Point 算法可以有效改善该问题，且与 Langevin Monte Carlo 算法计算成本相比更低，可为该类应用提供参考。

    Nov, 2018

  • Stein 变分梯度下降的尺度极限：平均场极限

    该研究通过研究与 Stein 变分梯度下降相关的相互作用粒子系统，在大粒子极限下，粒子系统的经验测量收敛于非局部和非线性 PDE 的解，并证明此限制 PDE 的解的全局存在、唯一性和正则性，最终证明了 PDE 的解在长期限制下收敛于唯一的不变解。

    May, 2018

  • 神经网络的自然 Langevin 动力学

    在机器学习中，使用贝叶斯后验概率分布作为模型参数可以避免过度拟合，Stochastic gradient Langevin dynamics (SGLD) 是一种近似贝叶斯后验概率分布的算法，使用易于计算的 Fisher 矩阵近似，使用 Fisher 矩阵预处理可以用于大型神经网络中，并将 SGLD 与 dropout 类似的正则化技术相结合以减少过拟合。

    Dec, 2017