批量与匹配：基于评分的黑盒变分推断
本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。
Apr, 2023
本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。
May, 2023
本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比BBVI更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。
Jul, 2023
在完美变分族规范下，证明了带有控制变量的黑盒变分推断（BBVI），特别是附着着陆（STL）估计器，在几何（传统称为“线性”）速率下收敛。我们证明了STL估计器的梯度方差的二次界限，由此可以直接推出使用投影随机梯度下降的BBVI的收敛性。我们还改进了现有的关于常规闭式熵梯度估计器的分析，从而使其可以与STL估计器进行比较，并为两者提供明确的非渐近复杂性保证。
Jul, 2023
黑盒变分推断是在使变分推断更“黑盒”的最近努力中的一个有前途的框架，但在基本版本中，它要么由于不稳定性而无法收敛，要么在执行前需要调整更新步骤，这使得它不完全通用。我们提出了一种通过将随机梯度上升重新定位为多元估计问题来规范其参数更新的方法。所提出的方法在方差减小方面相对较弱，但提供了更简单的代替和不需要分析师进行微调的权衡。基准数据集上的性能还表明，在模型拟合和收敛时间方面，与Rao-Blackwell化方法相比具有一致的表现或更好。
May, 2024
通过引入Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的black box variational inference（BBVI）下的ELBO估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。
Jun, 2024
本文解决了黑箱变分推理在高维问题中使用完全协方差矩阵时的扩展性不足的问题。研究提出了将批处理与匹配框架（BaM）结合的新方法，通过引入低秩矩阵的高效参数化，提高了算法的效率和表现。实验证明，该方法在多个合成目标分布和高维推断的真实问题中均取得了显著成效。
Oct, 2024
本研究针对黑箱变分推断（BBVI）中的问题，提出了EigenVI，一种基于特征值的变分推断方法。EigenVI通过正交函数展开构建变分近似，能够灵活建模复杂分布并通过最小化Fisher散度的随机估计优化变分近似，从而相比于现有方法提供了更高的准确性，特别是在处理高斯BBVI的情况下。
Oct, 2024