NIPSAug, 2018

在线独立成分分析：通过扩散过程理解非凸优化的全局动态

PDF
TL;DR本文借助扩散过程的分析范式，探索非凸统计优化的全局动态特性，以随机梯度下降 (SGD) 法求解独立成分分析的张量分解为例，将 SGD 的不同阶段转化为不同的扩散过程并进行分析。研究结果对于理解 Markov 链收敛到扩散过程的弱收敛也具有独立的意义。
nonconvex optimizationdiffusion processesstochastic gradient descenttensor decompositionmarkov chains
发现论文，激发创造
  • 非凸随机梯度下降的扩散逼近

    本研究从扰动动力学系统的角度研究了 SGD 优化算法在非凸优化问题中的应用，发现扰动过程可以弱化地近似 SGD 算法，并且批量大小对于深度神经网络具有明显影响，小批量有助于 SGD 算法避免不稳定驻点和锐利极小值，并且我们的理论表明，为了更好的泛化能力，应在后期增加批量大小以使 SGD 陷入平坦的极小值点。

    May, 2017

  • 分段扩散的全局非凸优化

    该研究论文介绍了使用欧拉离散化方法来收敛于某些凸优化问题和非凸优化问题的全局最小值点，并展示了设计适用于全局最优化的新扩展兰氏理论的不同扩散适用的凸和非凸函数类的属性。基于我们的非渐近分析，该方法提供了计算最优化和积分误差边界，并配有新的基于泊松方程解的显式 Stein 因子边界。

    Oct, 2018

  • 随机梯度和朗之万过程

    我们研究了 Langevin 过程和随机微分方程，证明了它们收敛于相关稳定分布的数量化收敛速度，应用于非凸问题的随机梯度下降算法的收敛性分析和实验.

    Jul, 2019

  • 随机梯度朗逊动力学的非凸学习：非渐近分析

    使用加权运输成本不等式来量化 SGLD 在欧几里得 2 - 瓦瑟斯坦距离下收敛到随机分布的速率，并在非凸学习问题的背景下提供有限时间保证来找到两种风险的近似最小化器。

    Feb, 2017

  • 梯度下降算法在统计和计算范式中的随机微分方程渐近分析

    本研究探讨随机优化中梯度下降算法（尤其是加速梯度下降和随机梯度下降）的渐近行为，并建立了渐近分析的计算和统计统一框架。基于时间依赖奥恩斯坦 - 乌伦贝克过程等建立梯度流中心极限定理，最终识别学习率、批处理大小、梯度协方差和黑塞矩阵等四个因素，以解决非凸优化问题。

    Nov, 2017

  • 基于 Langevin 动力学的非凸优化算法的全局收敛性

    本文提出了强化的 Langevin dynamics 算法和分析框架，理论证明了全局收敛性，能在各自的梯度复杂度内接近极小值。

    Jul, 2017

  • 非凸优化中动量 SGD 的扩散近似理论

    本文通过对非凸优化问题的扩散逼近，分析了 Momentum 随机梯度下降算法的算法行为，发现该算法对于强鞍点的逃逸具有帮助，但在优化器的周围区域内妨碍了收敛（未进行步长退火或动量退火），本文的理论发现部分验证了 MSGD 在训练深度神经网络中的实证成功。

    Feb, 2018

  • 变分高斯过程扩散过程

    本文提出了一种基于连续指数族描述的高斯变分过程的参数化方法，利用凸优化算法来解决具有非线性扩散过程先验的潜在过程的生成模型下的概率推断和学习问题。

    Jun, 2023

  • 两层神经网络格势的均场视角

    本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

    Apr, 2018

  • 高斯混合分类中随机梯度下降的动力学平均场理论

    通过使用动力学均场理论的方法，我们分析了随机梯度下降在单层神经网络分类高维高斯混合数据上的学习动态。我们通过定义一种随机过程将随机梯度下降扩展到连续时间极限，称之为随机梯度流，并探讨了算法控制参数对其在损失函数空间中的导航的影响。

    Jun, 2020