使用半隐式变分推断方法 (SIVI) 扩展了通常使用的解析变分分布族,可以将变分参数与灵活的分布混合。这种混合分布可以采用任何密度函数来生成独立的随机样本,并且在推理贝叶斯模型的后验概率方面与 MCMC 方法的精度相当.
May, 2018
核 SIVI(KSIVI)是 SIVI-SM 的变体,通过核技巧消除了对底层优化的需求,其上层目标是可计算的核 Stein 距离(KSD),从而实现了 KSIVI 的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了 KSIVI 的有效性和效率。
May, 2024
本研究提出了一种层级半隐式变分推断方法(HSIVI),通过引入辅助分布,允许更具表达力的多层半隐式分布构建,大大提升了对复杂目标分布的建模能力,同时可用于加速扩散模型的采样过程。
Oct, 2023
该研究提出了一种名为粒子变分推理(PVI)的新方法,通过粒子近似欧氏 - 瓦塞尔斯坦梯度流,利用经验度量来近似描述最优混合分布,并直接优化证据下界(ELBO),无需对混合分布做参数化假设。实证结果表明,PVI 在各种任务中表现出色,并对相关的自由能函数的梯度流行为进行了理论分析,证明了解的存在性和唯一性以及混乱传播结果。
Jun, 2024
SIVI-SM 是基于分数匹配的新的 SIVI 方法,通过利用半隐变分族的分层结构,允许使用少噪声分数匹配处理难以处理的变分密度,SIVI-SM 在各种贝叶斯推理任务中准确性与 MCMC 相当,并且优于基于 ELBO 的 SIVI 方法。
Aug, 2023
本文提出一种无偏隐式变分推断 (UIVI) 方法,通过定义具有表现力的变分族扩展变分推断的适用性,并直接优化证据下界 (ELBO),通过简单可重参数化分布和任意灵活的深度神经网络,获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。
Aug, 2018
本文提出了一种基于隐式后验变分推断 (IPVI) 框架的多层深高斯过程模型,能够理想地恢复无偏后验信念,并仍保持时间效率高,该框架通过将 DGP 推断问题建模为一个两个玩家博弈,在该博弈平衡点处获得无偏后验信念,并设计最佳响应动态算法来寻找博弈均衡点,得到的实证表明 IPVI 在 DGPs 的近似方法中优于现有技术水平。
Oct, 2019
提出了一种新的算法 Boosting Variational Inference(BVI),它基于渐进的计算,能够捕捉多模态、一般后验协方差和非标准后面形状,并且使用一个更灵活的逼近族,包括所有可能的有限混合一个参数基础分布(例如高斯)。
Nov, 2016
开发智能传感器网络推理问题的高效解决方案对于下一代位置、跟踪和地图服务至关重要。本文开发了一种适用于连续变量、难以处理的后验概率和大规模实时数据的可扩展分布式概率推理算法。
Sep, 2023
本论文引入了分层抽样的方法,实现了对混合分布的自动微分变分推断(ADVI); 并且通过建立重要性加权自编码器(IWAE)类似的较紧下界,进一步验证了该方法相较于传统 ELBO 或 IWAE 的优势,特别是在 latents 变量中有多峰分布时,表现出更高的准确性和更好的校准性。
Mar, 2020