Jun, 2024

仅接收样本一次：快速、自纠正的随机变分推断

PDF
TL;DRYOASOVI 是一种用于大规模贝叶斯层次模型的快速自校正随机优化变分推断 (Variational Inference) 的算法，通过使用每次迭代中用于随机变分推断的目标函数的可用信息，将常规 Monte Carlo 采样替换为接受采样，从而有效控制计算资源，以更快速且更优的策略收敛。
yoasovistochastic optimizationvariational inferencebayesian hierarchical modelsmonte carlo sampling
发现论文，激发创造
  • 加速随机概率推断

    本文提出了一种基于二阶方法的随机变分推断方法，通过求解变分目标函数的 Hessian 矩阵，选择了两种数值方案来实现这种方法，通过合成和真实数据的实证评估，证实了这种方法的有效性和效率。

    Mar, 2022

  • 基于随机信赖域优化的快速黑盒变分推断

    TrustVI 是一种基于信任域优化和重新参数化技巧的快速二阶算法，用于黑盒变分推断。 它在每次迭代中提出并评估基于变分分布抽取的小批量的步骤。 该算法具有收敛到稳定点的可证明性。

    Jun, 2017

  • 自动结构化变分推断

    介绍了一种用于构建结构化变分族的自动化方法。这些凸优化族可以捕获复杂的统计依赖关系，并可用于一个非常大的模型族，包括连续和离散变量。通过在 TensorFlow Probability 中提供 ASVI 的开源实现，发现其表现较其他主流方法更佳。

    Feb, 2020

  • 带有顺序样本平均逼近的变分推断

    我们提出了基于顺序样本平均逼近（VISA）的变分推断方法，用于处理基于数值模拟的计算密集型模型。VISA 通过使用一系列样本平均逼近，在一个信任区域内计算合理，从而能够在多个梯度步骤中重复使用模型评估，从而降低计算成本。我们在高维高斯分布、Lotka-Volterra 动力学和 Pickover 吸引子上进行实验，结果表明 VISA 能够以至少两倍的计算节约达到与标准的重要性加权前向 KL 变分推断相当的逼近精度。

    Mar, 2024

  • 提升变分推断

    提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

    Nov, 2016

  • 随机变分推断的平滑梯度

    本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

    Jun, 2014

  • 变分拒绝抽样

    本文提出了一种采用拒绝抽样方法来舍弃具有低似然的变分后验采样的方法，并使用一种新的梯度估计器，以 MNIST 数据集为例，在估计边际对数似然时，相对于现有的基于单样本和多样本的方法，可以平均提高 3.71 个 nats 和 0.21 个 nats 的准确性。

    Apr, 2018

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断 (VI) 方法中的坐标上升变分推断 (CAVI) 算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • Beta Bernoulli 过程的随机变分算法实证研究

    研究使用 SVI 在稀疏潜在因子模型（尤其是 BPFA）中的性能，发现使用 Gibbs 采样维护特定后验依赖关系非常有效，但在 BPFA 中不同的后验依赖关系与 LDA 不同，并且模拟内局部变量依赖性的近似方法表现最佳。

    Jun, 2015

  • 确定性目标的黑盒变分推断：更快、更准确，更加黑箱

    本研究介绍了一种称为 “确定性 ADVI” 的方法来解决 MFVB 的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的 MFVB，确定性 ADVI 能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

    Apr, 2023