May, 2018

Stein 变分梯度下降的尺度极限：平均场极限

PDF
TL;DR该研究通过研究与 Stein 变分梯度下降相关的相互作用粒子系统，在大粒子极限下，粒子系统的经验测量收敛于非局部和非线性 PDE 的解，并证明此限制 PDE 的解的全局存在、唯一性和正则性，最终证明了 PDE 的解在长期限制下收敛于唯一的不变解。
interacting particle systemstein variational gradient descentempirical measurenon-local and nonlinear pdeinvariant solution
发现论文，激发创造
  • 论 Stein 变分梯度下降的几何形式

    本文研究贝叶斯推断问题，特别关注于最近引入的斯坦变分梯度下降方法，介绍了该方法的交互粒子系统构建；并通过研究选择合适的正定核函数的问题，提出采用调整尾部的某些不可微核函数，证明在各种数值实验中这种方法具有明显的性能提升。

    Dec, 2019

  • 均场 Langevin 动力学的凸分析

    该研究在连续和离散时间设置下，针对正则化的目标函数给出了关于均值场 Langevin 动力学的简洁、自包含的收敛速率分析。作者证明了命题的关键在于该理论的复合推广的 Gibbs 分布。作者发现该分布与经验风险最小化中的对偶间隙存在关联，这可能使算法收敛的经验评估更加有效。

    Jan, 2022

  • 大粒子系统在平均场极限下的动力学

    本文讲解了如何从基本的微观方程出发，严谨地推导出统计物理学中的平均场演化偏微分方程，并详细介绍了数学方法和不同方法之间的关系，其中特别强调了混沌序列和 BBGKY 层次结构中的混沌传播。

    Jan, 2013

  • 均场 Langevin 动力学的收敛性：时间和空间离散化、随机梯度和方差缩减

    本文提出了一个新的框架来证明具有有限粒子逼近，时间离散化和随机梯度逼近误差的 MFLD 的混沌传播具有时间一致性，并在学习问题和不同梯度估计器的广泛范围内建立了量化的收敛速率保证，包括 SGD 和 SVRG 算法。

    Jun, 2023

  • 均场最优控制

    本研究引入了平均场最优控制的概念，该概念是将建模多代理交互的 ODE 约束下的有限维最优控制问题与约束为 Vlasov 类型的 PDE 的无限维最优控制问题的严格极限过程。通过考虑损失函数中 $L^1$ -norm 项，惩罚广泛的控制组，同时促进其稀疏性，我们考虑关注政策制定者受到最佳策略的制约，以实现其与个体群体之间最简洁的相互作用。

    Jun, 2013

  • 高斯混合分类中随机梯度下降的动力学平均场理论

    通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。

    Jun, 2020

  • 两层神经网络的平均场理论：无维界限和核极限

    本文探讨利用随机梯度下降学习两层神经网络，将神经网络权重的演化近似为概率分布在 R^D 空间中的演化，从而得到概率分布的梯度流方程。我们分析了隐藏单元数量与数据规律性之间的相关性，扩展了此结果到无界激活函数的情况，将此结果应用到噪声随机梯度下降过程中，并展示了如何通过平均场分析特殊限制条件下的核岭回归。

    Feb, 2019

  • 深度学习中产生的受控粒子系统的收敛性分析：从有限样本到无限样本大小

    该文研究了一类神经随机微分方程的极限行为，推导出一种关于神经随机微分方程的最优控制问题的汉密尔顿 - 雅可比 - 贝尔曼方程，通过分析反向随机黎卡蒂方程得出一种统一的正则估计结果，利用这些正则估计结果展示了目标函数极小值和神经随机微分方程的最优参数在样本大小趋于无穷的情况下的收敛性，而极限对象可以通过定义在波雷尔概率测度的 Wasserstein 空间上的适当函数来确定，并获得定量代数收敛速度。

    Apr, 2024

  • 均场反向随机微分方程：极限方法

    研究一种纯随机方法中的平均场反向随机微分方程的特殊平均场问题的近似解，证明其收敛速度为 1 /sqrt {N}，并证明其三元组以一定意义收敛于一种前向 - 反向随机微分方程解，该解不仅受到布朗运动的控制，而且还受独立高斯场的控制。

    Nov, 2007

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化 KL 距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下 KL 距离的导数与 Stein's 恒等式以及最近提出的核化的 Stein 距离，这也具有独立的兴趣。

    Aug, 2016