Jul, 2013

关于带加权平均的随机次梯度镜像下降算法

PDF
TL;DR本文探讨随机次梯度镜像下降方法在解决受限凸规划问题中的应用及其收敛性分析，特别研究了带有加权迭代平均的随机次梯度镜像下降方法，并分析了其迭代收敛速度和优化效果。通过合适的步长取值，实现了具有强凸性和一般凸性的函数的最优平均速率，并且通过加权平均的方式，优于已有的算法。
发现论文，激发创造
  • 最小二乘回归加权平均投影随机梯度下降算法

    探讨使用随机梯度下降的加权迭代平均算法，对确定的不可知参数进行最小二乘回归，分析了其收敛速度和误差，并提出了一种新的算法，取得了更好的性能表现。

    Jun, 2016

  • 一种简化的方法获得投影随机子梯度方法的 O (1/t) 收敛速率

    本文提出了一种新的投影随机次梯度方法的平均技术，通过使用加权平均和易于证明和实现的方法，每次迭代使用权重 t+1，达到 O (1/t) 的收敛速度。通过与现有技术的经验比较，证明了其类似的性能表现。

    Dec, 2012

  • 一种用于非光滑非凸约束优化的随机次梯度平均法收敛性分析

    本文证明了具有广义可微性质、约束非光滑非凸目标函数的单时标随机次梯度法和子梯度平均方法的收敛性，同时，我们也证明了这类函数路径上的链式规则。

    Dec, 2019

  • 用于复合非强凸优化的快速随机镜像下降算法

    本篇论文提出了一种加速随机镜像下降法来解决平均函数和非强凸函数的问题，绕过了常见的小二次正则化降低性能的方法，可以更好地解决非强凸情况。

    May, 2016

  • 强凸优化的最优分布式随机镜像下降

    本文研究在多智能体网络中，基于 Bregman 散度作为距离测度函数，提出了两种高效的非欧几里德随机次梯度下降算法，用于求解非平滑和强凸函数的最小值，并在模拟实验中验证其收敛速度。

    Oct, 2016

  • 适应性平均随机梯度下降法在逻辑回归中局部强凸性上的应用

    该论文研究了带平均的随机梯度方法在监督学习问题中的应用，证明了该方法具有自适应性和较高的收敛率。

    Mar, 2013

  • 分布式随机次梯度投影算法用于凸优化

    本文考虑了一个分布式的多智能体网络系统，旨在最小化代理的凸目标函数之和，并遵守共同的凸约束集。本文探讨了随机阶梯下降法的收敛性，并提出了一些保证收敛性的条件。

    Nov, 2008

  • 随机非光滑优化的交错时间平均算法及 O (1/T) 收敛性

    本文研究了基于随机子梯度优化的非光滑函数的优化问题，提出一种具有 O（1/T）收敛率的算法，并且证明在去除局部 polyhedral 假设时具有一般的收敛性，最后，在确定性问题的特殊情况下，在局部 polyhedral 假设上的收敛性得到了改善。

    Jul, 2016

  • 收敛速度为 O（1/n）的随机组合最小二乘回归

    考虑由二次函数的期望值和任意凸函数组合成的复合目标函数的最小化问题，我们研究了随机双均值算法在恒定步长下的特性，证明其无需强凸假设即可获得 O (1/n) 的收敛速度，从而将欧几里得几何中关于最小二乘回归的较早结果扩展到了 (a) 所有凸正则化器以及约束条件，以及（b）由 Bregman 距离表示的所有几何形状。通过一种新的证明技巧来实现这一点，该技巧将随机和确定性递归联系起来。

    Feb, 2017

  • 迭代平均作为随机梯度下降的正则化

    该论文提出了一种变种的 Polyak-Ruppert 平均方案，通过几何衰减的加权平均来在随机梯度方法中起到正则化的作用，其在线性最小二乘回归中具有岭回归的等价性，并提出与常规随机梯度方法相匹配的有限样本界。

    Feb, 2018