Apr, 2024

通过最优输运协调上升变分推断用于对数凹测度的收敛性

TL;DR均场变分推断(VI)是找到相对熵意义下到给定的高维概率测度$\rho$最接近的分布(分解测度)的问题。本文证明了在对数凹密度$\rho$情况下,均场变分推断CAVI的收敛性。若附加条件$\log \rho$具有Lipschitz梯度,则收敛速度为线性,若$\rho$也是强对数凹的,则收敛速度为指数级。我们的分析始于观察到当$\rho$为对数凹时,均场VI在优化输运的意义下是凸的,从而使我们能够借鉴来自欧几里得空间上坐标下降算法的优化文献中的技术。