- 批量与匹配:基于评分的黑盒变分推断
基于分数的采样方法与最大似然法相结合,可以有效优化高方差问题,并证明当目标分布为高斯分布时,收敛迅速且性能优于传统基于 ELBO 最大化的黑盒变分推断方法。
- MCMC 驱动学习
该论文旨在统一马尔科夫链蒙特卡洛(MCMC)与机器学习的各种问题,包括黑箱变分推断、自适应 MCMC、理论流构建和辅助传输 MCMC、代理似然 MCMC,并通过一个共同的框架进行泛化与翻译。
- 可证明可扩展的结构化变分家族的黑盒变分推理
给定的研究论文提出了一个介于均场变分族和完全秩变分族之间的结构变分族,通过理论证明某些规模矩阵结构可以获得更好的迭代复杂度,并在大规模分层模型上进行实证验证。
- 黑盒变分推断的线性收敛性:我们应该坚持完成吗?
在完美变分族规范下,证明了带有控制变量的黑盒变分推断(BBVI),特别是附着着陆(STL)估计器,在几何(传统称为 “线性”)速率下收敛。我们证明了 STL 估计器的梯度方差的二次界限,由此可以直接推出使用投影随机梯度下降的 BBVI 的收 - 黑盒变分推断的可证收敛性保证
针对黑盒变分推理的随机优化的挑战,该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性,并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.
- 黑盒变分推断收敛
本文提供了第一篇关于全黑箱变分推断的收敛性保证,特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析,证明了使用鲁棒的变分族文件和负责的算法设计,特别是使用近端随机梯度下降,可以实现最强的已知收敛速率保证。
- ICLRStein 变分梯度下降与黑盒变分推断之间的等价性
该研究以内核梯度流为基础,证明了黑盒变分推断与 Stein 变分梯度下降之间的等同性,并且探讨了内核与各种算法行为的关系。
- 变分提升:迭代优化后验近似
本文提出了一种黑盒变分推理方法 —— 变分 boosting, 通过迭代优化来逼近一个越来越丰富的逼近类,从而扩展其变分逼近类,应用于合成和真实的统计模型,表明通过比较精确和有效地后验推理,其结果优于现有的后验逼近算法。