BriefGPT.xyz
Feb, 2021
可行的结构化自然梯度下降使用本地参数化
Tractable structured natural gradient descent using local parameterizations
HTML
PDF
Wu Lin, Frank Nielsen, Mohammad Emtiyaz Khan, Mark Schmidt
TL;DR
本文介绍了使用本地参数坐标的自然梯度下降法及其在协方差参数化中的应用，为深度学习、变分推断和进化策略等问题的可伸缩结构几何方法开辟了新方向。
Abstract
natural-gradient descent
on
structured parameter spaces
(e.g., low-rank
covariances
) is computationally challenging due to complicated inv
→