Jun, 2024

黑盒变分推断中的高效混合学习

HTML
PDF
TL;DR通过引入Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的black box variational inference（BBVI）下的ELBO估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。
发现论文，激发创造
  • 提升变分推断

    提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 摄动黑盒变分推理

    本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

    Sep, 2017

  • 提升黑盒变分推断

    本文提出了一种改进算法，基于强化版Variational Inference方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

    Jun, 2018

  • 混合自动微分变分推断

    本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统ELBO或IWAE的优势，特别是在latents变量中有多峰分布时，表现出更高的准确性和更好的校准性。

    Mar, 2020

  • 黑盒变分推断的进展：归一化流、重要性权重和优化

    通过在30个Stan模型库中的基准测试中评估与优化，normalizing flows和Monte-Carlo方法的组合显着推进了黑盒VI的状态。

    Jun, 2020

  • 确定性目标的黑盒变分推断：更快、更准确，更加黑箱

    本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

    Apr, 2023

  • 黑盒变分推断收敛

    本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

    May, 2023

  • 改进的变分贝叶斯系统发育推断使用混合模型

    VBPI-Mixtures算法通过在BBVI领域利用混合学习的最新突破，弥合了VBPI无法建模的树拓扑分布的鸿沟，并在多个真实系统发育数据集上交付了最先进的难度估计任务的性能。

    Oct, 2023

  • 批量与匹配：基于评分的黑盒变分推断

    基于分数的采样方法与最大似然法相结合，可以有效优化高方差问题，并证明当目标分布为高斯分布时，收敛迅速且性能优于传统基于ELBO最大化的黑盒变分推断方法。

    Feb, 2024

  • 批处理、匹配和修补：基于分数的变分推理的低秩近似

    本文解决了黑箱变分推理在高维问题中使用完全协方差矩阵时的扩展性不足的问题。研究提出了将批处理与匹配框架（BaM）结合的新方法，通过引入低秩矩阵的高效参数化，提高了算法的效率和表现。实验证明，该方法在多个合成目标分布和高维推断的真实问题中均取得了显著成效。

    Oct, 2024