可扩展自适应随机投影随机优化

NIPSNov, 2016

Scalable Adaptive Stochastic Optimization Using Random Projections

Gabriel Krummenacher, Brian McWilliams, Yannic Kilcher, Joachim M. Buhmann, Nicolai Meinshausen

TL;DR通过随机降维的方式，提出了 Ada-LR 和 RadaGrad 两种有效的逼近全矩阵 AdaGrad 的算法，能够在减少计算 cost 的同时保证和全矩阵 AdaGrad 相似的性能，其中 RadaGrad 在卷积神经网络和循环神经网络的训练中能够实现更快的收敛速度。

Abstract

Adaptive stochastic gradient methods such as adagrad have gained popularity in particular for training deep neural networks. The most comm

adagrad stochastic gradient methods dimensionality reduction neural networks radagrad

发现论文，激发创造

随机自动微分

提出了随机自动微分 (RAD) 的一般框架和方法，可实现减少内存的无偏梯度估计，特别适用于小批量的反向传播神经网络，同时适用于科学计算中的优化控制参数

Jul, 2020

深度学习的鲁棒自适应随机梯度方法

本文提出了一种自适应学习率算法，该算法利用了损失函数的随机曲率信息自动调整学习率，并且提出了一种新的方差缩减技术以加速收敛，在深度神经网络实验中，相比于流行的随机梯度算法获得了更好的性能。

Mar, 2017

大规模机器学习问题的随机比率跟踪算法

本文提出了一种适应性步长选择的算法，基于传统的非线性优化技术，通过分析结果表明，该算法可生成与手动调节最佳步长相当的步长，并产生期望收敛于解的固定邻域的迭代。

May, 2023

adaQN: 一种适应性拟牛顿算法用于训练循环神经网络

本篇论文提出了一种名为 adaQN 的随机拟牛顿算法，用于解决循环神经网络 (RNN) 训练中的梯度消失 / 爆炸问题，该方法使用了一种新的 L-BFGS 缩放初始化方案，并且在存储和保留 L-BFGS 曲率对方面非常明智，实践表明 adaQN 与流行的 RNN 训练算法有相当的竞争力。

Nov, 2015

随机梯度下降算法自适应步长的局部二次收敛

研究了一种在求解矩阵求逆等问题中具有局部二次收敛性的随机梯度下降优化方法，该方法采用自适应步长和一阶优化方法，为优化方法在深度学习中的应用提供了一条快速收敛的途径。

Dec, 2021

凸优化的私有自适应梯度方法

本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量 Stochastic Gradient Descent（SGD）算法和 Adagrad 算法的私有版本，证明了我们的私有版本的 Adagrad 优于自适应 SGD，而这又优于传统的 SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

Jun, 2021

正则化对偶平均的扩展及其动态

通过提出广义正则化对偶平均（gRDA）算法，该算法首次推导了在线 l1 惩罚问题的渐近分布，并开发了在线稀疏线性回归和在线稀疏主成分分析的统计推断理论，以及进行了广泛的数值分析。

Sep, 2019

自适应梯度方法在细化平滑度和噪声假设下的收敛分析

分析了 AdaGrad 在随机非凸优化中收敛速率，证明了存在优于 SGD 的收敛速度，并给出了收敛速率的上界和下界。

Jun, 2024

AdAdaGrad：自适应梯度方法的自适应批次大小方案

通过使用自适应批次大小策略，引入了 AdAdaGrad 和 AdAdaGradNorm，在深度学习中展示了逐步批处理协议的提升适应性以及与自适应梯度优化器结合使用的自适应批次大小策略的潜力。

Feb, 2024

深度学习随机一阶方法的逐层自适应步长

我们提出了一种新的逐层自适应步长过程，用于解决深度学习中用于最小化经验损失函数的随机一阶优化方法中需要调整学习率的问题，并且实验证明这种方法比 fine-tuned 学习率的方法以及一些常见的一阶或二阶优化方法更有效。

May, 2023