Mar, 2024
通过隐式 - 显式时间步进方法改进自适应矩估计(ADAM)随机优化器
Improving the Adaptive Moment Estimation (ADAM) stochastic optimizer through an Implicit-Explicit (IMEX) time-stepping approach
Abhinab Bhattacharjee, Andrey A. Popov, Arash Sarshar, Adrian Sandu
TL;DR这项研究提出了一种基于隐式 - 显式欧拉离散化的一阶 Adam 算法,并通过对普通微分方程的高阶隐式 - 显式方法求解,得到了一种优于经典 Adam 算法的新型神经网络训练优化算法。