BriefGPT.xyz
Oct, 2018
Kalman梯度下降：随机优化中自适应方差减小
Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization
HTML
PDF
James Vuckovic
TL;DR
介绍一种使用卡尔曼过滤器进行随机优化的算法，并分析了其在非凸设置下收敛性的理论，并在神经网络和黑盒变分推理等许多机器学习领域上展示了其改进的性能。同时，介绍了一种分布式版本的算法，并将其扩展到SGD动量和RMSProp。
Abstract
We introduce
kalman gradient descent
, a
stochastic optimization algorithm
that uses Kalman filtering to adaptively reduce
gradient variance
→