BriefGPT.xyz
Jan, 2019
黑盒变分推断的可证明平滑性保证
Provable Smoothness Guarantees for Black-Box Variational Inference
HTML
PDF
Justin Domke
TL;DR
本研究论文讨论了黑盒变分推断通过梯度优化较简单分布的参数来逼近复杂目标分布。研究发现，在采用位置-比例族逼近的情况下，如果目标是M-Lipschitz平滑的，则目标函数也是M-Lipschitz平滑的，当然熵要被排除在外。这个结论揭示了如何对分布参数化的思路，给出了最佳参数位置的界并且是收敛保证的关键因素。
Abstract
Black-box
variational inference
tries to approximate a complex target distribution though a gradient-based optimization of the parameters of a simpler distribution. Provable
convergence
guarantees require structu
→