svrg | BriefGPT - AI 论文速递

关键词svrg

搜索结果 - 9

一个系数让 SVRG 生效
通过引入一个乘法系数来控制 Stochastic Variance Reduced Gradient（SVRG）的强度，并通过线性衰减调整该系数，我们展示了 SVRG 优化神经网络的潜力，并发现对于更深的网络，SVRG 的减弱方差的项的强度
PDF8 months ago
随机近端点算法的方差降低技术
在有限和求和最小化的背景下，方差缩减技术被广泛应用于改进现有随机梯度方法的性能，本研究首次提出了针对随机近端点算法的方差缩减技术研究，介绍了针对平滑凸函数的 SVRG、SAGA 和其变种的随机近端版本，并且提供了迭代和目标函数值的多个收敛结
PDFa year ago
ICML非凸优化的改进零阶方差约减算法及分析
本文介绍了两种零阶随机算法的优化和改进，其中一种通过新的 ZO-SVRG-Coord-Rand 算法和分析结果发现，比现有的同类算法以及 ZO-GD 和 ZO-SGD 更为优秀，另一种通过新的 ZO-SPIDER-Coord 算法有效降低了
PDF5 years ago
几乎无需调参的方差缩减
本研究提出了一种使用 Barzilai-Borwein 步长、平均值和内循环长度来调整参数的近乎无需调参的 SVRG 和 SARAH 算法，通过 “估计序列” 方法重新审视了这些算法，并在内循环过程中进行了简单而有效的迭代次数调整，提高了方
PDF5 years ago
稳定 SVRG: 非凸优化的简单方差缩减
该研究使用改进的 SVRG 算法创新性地找到一个非凸函数的二阶稳定点，并提出了使用稳定性 SVRG 算法的方法。
PDF5 years ago
随机复合优化的估计序列：方差降低、加速和对噪声的鲁棒性
本文提出了一种新的基于梯度的随机凸复合优化方法，将估计序列概念推广到随机优化算法中，以一种简单通用的方式证明了众多随机优化算法的收敛性，并提出几种可靠性策略。
PDF5 years ago
使用负动量采样直接加速 SAGA
本文提出了使用新型负采样动量的加速 SAGA 算法，以实现直接加速 SAGA 的目的，并在已知强凸性参数的强凸问题上实现了最优的预期复杂度。
PDF6 years ago
快速异步并行随机梯度下降
本文提出了一种名为 AsySVRG 的快速异步并行 SGD 方法，能够在收敛速度和计算成本方面优于现有的 Hogwild！等最先进的并行 SGD 方法。
PDF9 years ago
改进的 SVRG 用于非强凸或非凸总和目标
该研究提出了一种名为 SVRG 的算法，可用于处理强凸目标以外的任务并提供更高效的解决方案，并且该算法在许多著名的实际应用中都具有较好的表现。
PDF9 years ago