ICCVJul, 2011

大规模贝叶斯压缩感知中的高效变分推断

PDF
TL;DR本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
linear modelsbayesian compressed sensingvariational bayesian techniquesgaussian variancesimage deblurring
发现论文，激发创造
  • 稀疏广义线性模型的大规模变分推断和实验设计

    本文介绍了一种基于贝叶斯思想的算法框架，通过查询稀疏线性模型后验协方差来解决高阶贝叶斯决策问题，并且利用该算法框架成功地推动了磁共振成像的采样轨迹优化，为实际图像的压缩感知提供了新的启示。

    Oct, 2008

  • 具有线性复杂度的高斯过程模型的变分推断

    本文提出一种新的变分高斯过程模型，将均值函数和协方差函数在再生核希尔伯特空间中表示，可通过随机梯度上升来求解，时间和空间复杂度仅与均值函数参数数量成线性关系，适用于大规模高斯过程模型和回归任务的求解。

    Nov, 2017

  • 自动编码变分贝叶斯

    本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法，可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法，特别是在大型数据集下具有较好的表现，且已经在实验上得到了验证。

    Dec, 2013

  • 稀疏高斯过程回归和潜变量模型的分布式变分推断

    本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法，可以有效解决大规模数据集下高斯过程模型的可扩展性问题，并在飞行数据和 MNIST 数据集上证明了其优越性。

    Feb, 2014

  • 一种基于变分贝叶斯方法的高维线性回归中低维参数去偏推断

    研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦 - 冯・米塞斯定理的相关理论保证。

    Jun, 2024

  • 高斯过程模型输入不确定性的变分推断

    本文提出了一种贝叶斯方法，通过非标准变分推理框架在 GP-LVM 中近似积分出潜在变量，从而通过最大化解析较低下界的确切边缘似然来训练 GP-LVM，在学习非线性动态系统方面具有鲁棒性和自动选择非线性潜在空间维数的能力。

    Sep, 2014

  • 后验采样实例最优压缩感知

    本研究研究了来自已知先验分布的信号的压缩感知的测量复杂性，即使先验的支撑是整个空间（而不是稀疏向量）。对于高斯测量和信号上的任何先验分布，我们展示了后验抽样估计器可以实现近乎最优的恢复保证，在模型不匹配的情况下，只要分布估计（例如，从可逆生成模型中）与 Wasserstein 距离中的真实分布接近。我们使用 Langevin 动力学为深度生成先验实现了后验抽样估计器，并实验性地发现，它产生的准确估计具有比 MAP 更多的多样性。

    Jun, 2021

  • 高维稀疏先验线性回归的变分贝叶斯

    研究了高维稀疏线性回归中，贝叶斯模型选择先验的平均场斯派克和板块变分贝叶斯（VB）逼近，证明在设计矩阵兼容条件下，该逼近方式渐进地达到最优稀疏性真理和响应向量的最优预测，经实验证明该算法与其他最先进的贝叶斯变量选择方法具有相当的性能，同时提出了一种新的优先更新方案来提高变分推理算法的性能。

    Apr, 2019

  • 一种用于构建稀疏先验的分层贝叶斯框架

    本文基于最大后验 (MAP) 估计，提出了一种包含参数先验信息的贝叶斯推断层次结构，同时提供了相关的计算实例和应用案例，探讨了在高维数据下，在变量选择等问题中贝叶斯方法的优势与局限性。

    Sep, 2010

  • 稀疏深度学习的高效变分推断及理论保证

    本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

    Nov, 2020