TL;DR研究了从指数族抽取重要样本的 Monte Carlo 估计器的方差是分布的自然参数的一个凸函数，提出了一种自适应抽样算法，既改善了抽样分布的选择，同时积累了 Monte Carlo 估计结果，利用了凸性，证明了该方法的无偏估计具优越的渐进方差。
Abstract
We show that the variance of the monte carlo estimator that is importance
sampled from an exponential family is a convex function of the natural
parameter of the distribution. With this insight, we propose an ada
本文介绍了过度离散的黑匣子变分推理方法，该方法采用重要抽样从与变分估计相同指数族中的超离散分布中取样，以减少黑匣子变分推理中梯度的 Monte Carlo 估计的方差。我们在两个非共轭概率模型上运行实验，证明了我们的方法有效地降低了方差，并且计算提议参数和重要权重引入的开销是可以忽略的。我们发现，我们的过度离散重要抽样方案提供比黑匣子变分推理更低的方差，即使后者使用了两倍的样本数。这导致黑匣子推理过程的更快收敛。
本文提出一种自适应算法，通过迭代地更新混合重要性采样密度的权重和组分参数，以优化重要性采样性能，该方法适用于广泛类别的重要性采样密度，包括特别是多元学生 t 分布的混合物，实验表明，该算法在人工和实际例子上的表现都很好，并且特别突出了一个新颖的 Rao-Blackwellisation 装置的好处，该装置可以轻松地纳入更新方案中。