Mar, 2017

带减少方差的 Riemannian 随机拟牛顿算法及其收敛性分析

PDF
TL;DR本文提出了一种具有优越性能的 Riemannian 随机拟牛顿算法，以减少大量但有限的损失函数的平均值，在不确定性的情况下实现了加、减、平均多个梯度，并在消去和向量传输术语下，对非凸和收缩凸函数进行了收敛性分析，并在对称正定流形的 Karcher 平均值计算以及 Grassmann 流形的低秩矩阵完成方面进行了评估与实验，均表明该算法胜过当前最先进的批量和随机梯度算法。
发现论文，激发创造
  • 具有收缩和向量传输的黎曼随机方差缩减梯度算法

    本文提出了一种新颖的 Riemann 扩展欧几里得随机方差约减算法，用于测地线搜索空间，在流形上应用于对称正定子流形上的 Riemannian 质心计算问题以及 Grassmann 流形上的主成分分析和低秩矩阵完成问题中，并证明在该问题上优于标准 Riemann 随机梯度下降算法。

    Feb, 2017

  • Grassmann 流形上的黎曼随机方差减少梯度

    本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。

    May, 2016

  • 一种方差减少的随机牛顿法

    该研究提出了一种名为 “Vite” 的基于 Stochastic Quasi-Newton 算法的优化方法，它利用一种现有的一阶技术来减少噪声和方差，并在大规模学习问题上取得了不错的结果。

    Mar, 2015

  • 分布式随机梯度跟踪算法降低方差用于非凸优化

    本文提出了一种基于分布式随机算法的方差约简方法，以解决在多代理网络中进行大规模非凸有限和优化问题，提出了 GT-VR 算法，并证明了其收敛性和效率优于一些现有的一阶方法。

    Jun, 2021

  • 一种随机方差减少的 Nesterov 加速拟牛顿方法

    提出了随机方差减小的 Nesterov's Accelerated Quasi-Newton 方法，分别在 Tensorflow 上进行标准测试，结果表明相比传统方法，这种方法对于大规模数据的神经网络训练能够有效提高性能。

    Oct, 2019

  • 基于雅可比草图的随机准梯度方法：方差缩减

    JacSketch 是一种基于随机梯度下降和随机数值线性代数的方法，通过 sketching 方式用梯度的 Jacobian 矩阵估计梯度；此方法可以应用于 SAGA 方法的多种变体，包括重要性采样，具有较优的收敛速率。

    May, 2018

  • 随机嵌套方差缩减非凸优化

    我们提出了一种基于嵌套方差降低的新随机梯度下降算法，可用于解决有限个数个、非凸函数的优化问题，并且在平滑非凸函数上具有比现有算法更好的梯度复杂度。

    Jun, 2018

  • 机器学习的方差减少方法

    该综述对有限数据集的优化中方差缩减方法的主要原理和主要发展进行了概述，重点在于凸设定，并留下指向感兴趣的读者的指针。

    Oct, 2020

  • 通过方差减少方法的随机零阶优化

    本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

    May, 2018

  • 在黎曼流形上的均值随机梯度下降

    本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。

    Feb, 2018