Apr, 2015

关于稀疏变分方法和随机过程之间的 Kullback-Leibler 分歧

PDF
TL;DR本文中，我们以无穷指数集的情况为例，给出了最小化近似过程与后验过程之间严格定义的 KL 距离的变分框架的实质性推广。同时，我们还讨论了增广指数集并表明，增广的边际一致性不能保证变分推断与原模型一致，但是我们给出了可获得此保证的额外条件的特征。最后，我们展示了我们的框架如何阐明跨域稀疏求值和 Cox 过程的稀疏求值。
variational frameworkinducing variablesgaussian process literaturekullback-leibler divergencemarginal consistency
发现论文，激发创造
  • 高斯过程的稀疏正交变分推断

    本文介绍了一种新的稀疏变分逼近高斯过程的解释，使用感应点可以比以前的方法更具有可扩展性。它基于将高斯过程分解为两个独立过程的和： 一个由有限势基感应点并跨越另一个捕获其余变化。我们表示，这种表达重新获得了现有的逼近值，并且同时允许获得较紧的较低边界和新的随机变分推理算法。我们展示了这些算法的效率，从标准回归到使用（深入）卷积高斯过程的多类分类，并在 CIFAR-10 中报告了完全基于 GP 的模型的最新结果。

    Oct, 2019

  • 稀疏变分学生 - t 过程

    利用稀疏表示和变分推断的学生 - t 进程来建模含有离群值或具有重尾行为的数据，提供了一种比高斯过程更灵活的选择，减少了计算复杂性，并在多个合成和真实数据集上展示了其有效性。

    Dec, 2023

  • 高斯过程回归中稀疏变分近似的收缩速率

    研究变分贝叶斯方法在高斯过程回归模型中的理论特性，针对 Titsias 引入的感应变量方法推导出相应变分贝叶斯（VB）后验获得收缩速率的充分条件，证明了针对三种特定的协方差核函数（Matern 核函数，平方指数核函数和随机级数先验）VB 方法可以通过适当选取足够多的感应变量实现优化、极小的收缩速率，并通过数值实验验证了理论发现。

    Sep, 2021

  • 双稀疏变分高斯过程

    本文提出了结合 inducing points 和 state-space formulation 的方法，并给出了相应的 varitational parameterisation 公式，该方法在深度高斯过程模型中的应用效果明显。

    Jan, 2020

  • 利用近邻信息的稀疏内稀疏高斯过程

    通过引入一种新的层级先验，实现了对诱导变量集合的稀疏约束，使得高斯过程法在通过基于小批量学习实现超大规模推断时具备更好的效率。

    Nov, 2020

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 具有线性复杂度的高斯过程模型的变分推断

    本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

    Nov, 2017

  • 高斯过程回归中的稀疏变分推断收敛性

    本文研究高斯过程在贝叶斯建模中的应用，探讨了使用较少的引入变量进行逼近的解决方案，并给出了在高质量逼近下引入变量的增长上下界。

    Aug, 2020

  • 用随机梯度变分贝叶斯近似伽马分布

    本文研究了使用梯度的 log posterior 方法来控制梯度估计方差的问题，并应用到伽马分布潜在变量中，以实现稀疏性和非负性适用的模型的黑盒变分推断。该方法在网络数据的伽马过程模型和一种新型的稀疏因子分析中的应用效果均优于传统采样算法和对变换后变量使用高斯变分分布的方法。

    Sep, 2015