Sep, 2021

高斯过程回归中稀疏变分近似的收缩速率

PDF
TL;DR研究变分贝叶斯方法在高斯过程回归模型中的理论特性，针对 Titsias 引入的感应变量方法推导出相应变分贝叶斯（VB）后验获得收缩速率的充分条件，证明了针对三种特定的协方差核函数（Matern 核函数，平方指数核函数和随机级数先验）VB 方法可以通过适当选取足够多的感应变量实现优化、极小的收缩速率，并通过数值实验验证了理论发现。
发现论文，激发创造
  • 稀疏变分高斯过程回归的收敛率

    发展了出色的变分逼近高斯过程后验方法，可以避免数据集尺寸为 N 的时间复杂度 O (N³) 的问题，而将计算复杂度降低到 O (NM²) 的程度，M 是总结进程的引出的变量数。结果表明，通过以比 N 更慢的速度增加 M，可以使 KL 散度任意小。

    Mar, 2019

  • 高斯过程回归中共轭梯度和 Lanczos 近似后验收缩率

    高斯过程回归模型在现代统计学和机器学习中成为一个核心主题，然而在大规模样本中，要得到精确的后验结果是计算上不可行的，因此我们分析了概率数值方法中一类最近提出的近似算法，结合数值分析和 Kernel 矩阵的谱浓度结果得到了极小化收缩速率的理论结果，通过数值实验验证了我们的理论发现。

    Jun, 2024

  • 关于稀疏变分方法和随机过程之间的 Kullback-Leibler 分歧

    本文中，我们以无穷指数集的情况为例，给出了最小化近似过程与后验过程之间严格定义的 KL 距离的变分框架的实质性推广。同时，我们还讨论了增广指数集并表明，增广的边际一致性不能保证变分推断与原模型一致，但是我们给出了可获得此保证的额外条件的特征。最后，我们展示了我们的框架如何阐明跨域稀疏求值和 Cox 过程的稀疏求值。

    Apr, 2015

  • 高维稀疏先验线性回归的变分贝叶斯

    研究了高维稀疏线性回归中，贝叶斯模型选择先验的平均场斯派克和板块变分贝叶斯（VB）逼近，证明在设计矩阵兼容条件下，该逼近方式渐进地达到最优稀疏性真理和响应向量的最优预测，经实验证明该算法与其他最先进的贝叶斯变量选择方法具有相当的性能，同时提出了一种新的优先更新方案来提高变分推理算法的性能。

    Apr, 2019

  • 高斯过程回归中的稀疏变分推断收敛性

    本文研究高斯过程在贝叶斯建模中的应用，探讨了使用较少的引入变量进行逼近的解决方案，并给出了在高质量逼近下引入变量的增长上下界。

    Aug, 2020

  • 基于可伸缩变分贝叶斯的稀疏高斯过程回归内核选择

    该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

    Dec, 2019

  • 核基学习中的稀疏逼近方法的改进收敛速率

    本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

    Feb, 2022

  • 大规模贝叶斯压缩感知中的高效变分推断

    本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。

    Jul, 2011

  • 一种用于稀疏谱高斯过程回归的广义随机变分贝叶斯超参数学习框架

    本文针对大数据的稀疏高斯过程模型的一类不同于现有方法的低秩 GP 逼近模型展开研究，提出了基于稀疏频谱 GP 模型的随机变分贝叶斯框架，该框架结合贝叶斯方法处理频率谱避免过拟合，利用本地数据提高预测性能，并利用参数化技巧使得所得到的随机梯度具有线性结构，从而提高了稀疏 GP 模型的性能。实验结果表明，我们的模型优于现有的 SGP 模型的实现方法。

    Nov, 2016

  • 稀疏变分学生 - t 过程

    利用稀疏表示和变分推断的学生 - t 进程来建模含有离群值或具有重尾行为的数据，提供了一种比高斯过程更灵活的选择，减少了计算复杂性，并在多个合成和真实数据集上展示了其有效性。

    Dec, 2023