Sep, 2019
diffGrad: 卷积神经网络的一种优化方法
diffGrad: An Optimization Method for Convolutional Neural Networks
Shiv Ram Dubey, Soumendu Chakraborty, Swalpa Kumar Roy, Snehasis Mukherjee, Satish Kumar Singh...
TL;DR本文提出了一种新的优化器 diffGrad,它基于当前和上一梯度之间的差异,并根据参数的梯度变化速度动态调整步长。作者通过实验证明了 diffGrad 在图像分类等任务上的优越性能,特别是与其他优化器相比,diffGrad 对于使用不同激活函数的 CNN 训练具有一致的优越表现。