Oct, 2021

非凸随机优化中的随机 Anderson 混合

PDF
TL;DR提出了一种基于 Anderson Mixing 的随机方法，称为 SAM，用于求解非凸随机优化问题，并应用于训练各种神经网络，包括 CNN、ResNet、WideResNet、ResNeXt、DenseNet 和 RNN，实验证明该方法具有优异的性能。
anderson mixingstochastic optimizationneural networksvariance reductionnonconvex optimization
发现论文，激发创造
  • AdaSAM: 自适应学习率和动量的锐度感知最小化，用于深度神经网络训练

    此论文分析了 AdaSAM 在随机非凸环境下的收敛速度，证明了 AdaSAM 的收敛速度为 O（1/√（bT）），具有线性加速性质，随机梯度步骤与自适应学习率和扰动梯度分别分解分析，证明了自适应学习率具有有限的范围，为 SAM 和自适应学习率与动量加速提供了非平凡的收敛率，实验表明 AdaSAM 可以获得比 SGD，AMSGrad 和 SAM 优化器更好的性能。

    Mar, 2023

  • 小批量随机 ADMM 方法求解非凸非光滑优化问题

    本文提出了一种用于解决大规模非凸非光滑问题的小批量随机 ADMM 类方法，并将小批量随机梯度方法扩展到非凸 SVRG-ADMM 和 SAGA-ADMM 中。

    Feb, 2018

  • 应对马尔科夫数据随机优化中的混合时间

    本研究提出了一种新颖的多层蒙特卡罗渐进优化方法，针对含有 Markov 链随机数据的优化问题，能够在不知道 Markov 链混合时间的情况下获得最佳渐进收敛速率，并适用于非凸优化求解及在时间差分 (TD) 学习中获取更好的混合时间依赖性。

    Feb, 2022

  • 非凸优化的带方差约化随机交替方向乘子法

    本文介绍了基于不同减小方差的随机梯度的三种非凸随机交替方向乘子方法，包括 SVRG-ADMM、SAG-ADMM 和 SAGA-ADMM，并通过一些温和的条件建立了这些方法的迭代复杂度界限为 O (1/ε)，最后通过数值实验证明了方法的有效性。

    Oct, 2016

  • 快速随机交替方向乘子法

    本文提出一种新的随机交替方向乘子法（ADMM）算法，其在线性化 ADMM 公式上逐步逼近全梯度。实验证明，该算法在凸优化问题上的收敛速度得到提高，速度显著快于现有的随机和批量 ADMM 算法。

    Aug, 2013

  • 一类非凸、非光滑问题的交替方向乘子法及其在背景 / 前景提取中的应用

    本文针对图像科学中广泛使用的一类优化问题，基于 ADMM 算法，通过使用通用的双重步长方法、构建特殊的潜函数以及采用简单的初始化策略实现了非凸优化问题全局收敛和解决，并在实际应用中进行了比较实验，表明最优化效果良好。

    Jun, 2015

  • 交替最小化和 Nesterov 动量方法的组合

    本文提出一种结合 Alternating minimization（AM）和 Nesterov's acceleration 的自适应加速交替最小化算法，可用于解决具有凸性和非凸性的优化问题，同时不需要任何有关问题的凸性或函数参数等知识。通过证明该算法的收敛速度，得出该方法是自适应且优化的。此外还为具有线性约束的强凸问题开发了其原始 - 对偶修改。

    Jun, 2019

  • 非凸组合问题的 Bregman 交替方向乘数法收敛性研究

    本文研究了一种名为 Bregman modification 的 ADMM 算法，在某些限定条件下证明了 BADMM 迭代序列能够收敛到相关增广拉格朗日函数的静止点，这为 ADMM 在非凸设置中的应用提供了可行性。

    Oct, 2014

  • 带有不平衡混合系数的高斯混合 EM 算法收敛性

    研究了混合高斯模型中分量重叠对 EM 算法收敛速度的影响，提出了一种确定性抗退火算法用于解决非平衡混合系数混合高斯模型的 EM 算法收敛速度过慢问题以及类似的算法用于 Dirichlet 过程混合模型，实验证明它们相比于其他标准优化算法的优势。

    Jun, 2012

  • 实用锐度感知优化无法完全收敛至最优点

    研究了具有实际配置的确定性 / 随机 Sharpness-Aware 最小化（SAM）的收敛性质，并发现它们与使用衰减扰动大小或在 yt 中使用梯度归一化的 SAM 版本的特征明显不同。

    Jun, 2023