Sep, 2023
从最优控制理论推导坐标下降算法
Derivation of Coordinate Descent Algorithms from Optimal Control Theory
TL;DR最近，有人提出可以从最优控制理论中统一不同的优化算法。我们通过展示如何从这一新兴原理中导出坐标下降算法来进一步证明此命题。特别地，我们展示了基本的坐标下降算法可以通过使用最大原理和一组最大函数作为“控制”Lyapunov函数来导出。因此，由导致的控制系统的Lyapunov函数的耗散与相应的坐标下降算法的收敛性相关。所有情况下，搜索向量的运算度量均由凸目标函数的Hessian给出。