Sep, 2024
斯坦变分梯度下降中改进的有限粒子收敛速率
Improved Finite-Particle Convergence Rates for Stein Variational
Gradient Descent
TL;DR本文针对斯坦变分梯度下降(SVGD)算法在核斯坦误差(KSD)和Wasserstein-2度量下的有限粒子收敛速率问题,提出了新的见解。研究表明,相对熵的时间导数可以分解为与N成正比的主要负部分及较小的正部分,从而获得收敛速率为$1/\sqrt{N}$,较之前研究显著提高。此外,该方法在维度上也有线性增长,从而进一步推动了Wasserstein-2的收敛性研究。