BriefGPT.xyz
Apr, 2023
基于角度的梯度下降动态学习率
Angle based dynamic learning rate for gradient descent
HTML
PDF
Neel Mishra, Pawan Kumar
TL;DR
提出了一种新颖而简单的自适应梯度下降方法，使用当前梯度和新梯度之间的角度代替传统方法中的梯度期望，通过角度历史记录确定更好的自适应学习率，从而比现有的最先进的优化器在大多数数据集上实现更高的准确性，并证明了该方法的收敛性。
Abstract
In our work, we propose a novel yet simple approach to obtain an
adaptive learning rate
for
gradient-based descent methods
on
classification task
→