Jun, 2018

轻量级随机优化方法用于最小化包含无限数据的有限和

HTML
PDF
TL;DR本研究提出了两种基于随机梯度下降的算法(即随机样本平均梯度(SSAG)和随机SAGA(S-SAGA))，以解决使用随机噪声来影响数据集时的期望风险最小化问题，其中SSAG收敛速度比SGD快，而S-SAGA在迭代复杂度和存储方面均优于S-MISO，并且SSAG的存储成本不依赖样本大小，而S-SAGA的存储成本与未被扰动的数据上的方差降低方法相同。
发现论文，激发创造
  • 随机梯度下降及其异步变体中的方差降低

    该研究探讨了基于方差缩减的优化算法，尤其是异步版本的SVRG和SAGA在机器学习中的应用和实验表现。研究结果表明，该方法在稀疏设置下实现了近线性加速。

    Jun, 2015

  • 异步随机优化的扰动迭代分析

    介绍和分析了一种基于随机优化算法和有界噪声扰动输入的方法，用于分析异步实现随机优化算法的统一方法，应用该方法开发和分析了一种新的稀疏随机方差降低梯度算法 KroMagnon，并在 16 核机器上进行了实验，表明稀疏和并行化版本的 SVRG 算法在某些情况下比标准 SVRG 算法快了四个数量级。

    Jul, 2015

  • 少于一次迭代：随机控制的随机梯度下降法

    研究表明，我们开发并分析了一种基于梯度的优化过程，我们称之为随机控制随机梯度（SCSG）。作为SVRG算法集合中的一员，SCSG利用了两个尺度上的梯度估计，在快速尺度上的更新次数受到几何随机变量的控制。与大多数现有算法不同，SCSG的计算成本和通信成本不一定与样本大小n成线性比例关系；实际上，当目标精度较低时，这些成本与n无关。对真实数据集的实验评估确认SCSG的有效性。

    Sep, 2016

  • 基于方差减少的随机优化算法在具有有限和结构的无限数据集上的应用

    本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。

    Oct, 2016

  • 自适应SGD分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过Spark分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 一个简单的随机方差减少算法，具有快速收敛速率

    本篇论文介绍了一种简单的随机方差减小(MiG)算法及其在强凸和非强凸问题中最佳的收敛速率，并在稀疏和异步情况下介绍了其有效的变体并在这些情况下理论化分析其收敛速率。最后，我们进行了大量的实验，如逻辑回归等，以证明在串行和异步设置中的实际改进。

    Jun, 2018

  • 随机复合优化的估计序列：方差降低、加速和对噪声的鲁棒性

    本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。

    Jan, 2019

  • SGD: 一般分析和改进速率

    提出SGD收敛的通用简单定理，该定理可描述与特定概率法相关的各种SGD变体的收敛性。该定理是第一次执行这种分析，大多数SGD的变体以前从未明确考虑过。论文依赖于最近引入的期望平滑性的概念，并不依赖于随机梯度方差的统一界限。

    Jan, 2019

  • 随机梯度下降的统一理论：方差减少，采样，量化和坐标下降

    本文提出了一种统一分析的变体的近端随机梯度下降法，包括了未进行方差缩减、重要性抽样、小批量抽样、量化、坐标子采样等方法，同时获得了近端随机梯度下降法和随机化坐标下降法、方差缩减和非方差缩减的统一理论，提出了五种新变体的近端随机梯度下降法，并通过数值实验证明了其性质。

    May, 2019

  • 一种支配所有的方法：用于数据、参数和多种新方法的方差缩减

    提出了一种通用的降方差的方法，适用于解决带有大量训练样例或大型模型维度或两者都有的正则化经验风险最小化问题。该方法可以减少已知的多种方法，同时提供了一种单一的定理，该定理可以证明在平滑和拟强凸性假设下的线性收敛性。此外，该方法还为随机梯度和随机坐标下降等方法提供了首个统一的方法和理论。

    May, 2019