May, 2024
交替镜像下降方法的辛分析
A Symplectic Analysis of Alternating Mirror Descent
TL;DR通过使用Hamiltonian动力学、李代数和辛数值积分器的结果,以及对连续时间Hamiltonian流通过辛欧拉方法的离散化的研究,我们提供了一个分析框架,并强调了修正Hamiltonian (MH)的存在和特性,计算了二次函数原Hamiltonian情况下的MH,并得出新的误差界。我们利用这些结果展示了Alternating Mirror Descent算法的改进的总遗憾界限和平均迭代的对偶间隙。最后,我们提出了一个猜想,如果成立,会导致AMD的总遗憾为O(K^ε),平均迭代的对偶间隙为O(K^-1+ε),其中ε>0,且在MH的特定收敛条件下可以取ε=0。