稀疏广义线性模型的大规模变分推断和实验设计
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
本文提出一种新的变分高斯过程模型,将均值函数和协方差函数在再生核希尔伯特空间中表示,可通过随机梯度上升来求解,时间和空间复杂度仅与均值函数参数数量成线性关系,适用于大规模高斯过程模型和回归任务的求解。
Nov, 2017
本文介绍了一种新的框架,基于少量实验数据、领域专业知识和现有图像数据集来训练变分推断,使贝叶斯机器学习模型可以在最小数据收集效果下解决成像反问题。经过广泛的模拟实验证明了该方法的优点,并在两个实验光学设置中应用:全息图像重建和通过高度散射介质成像。在两种设置中,都用很少的训练数据,达到了最先进的重建效果。
Apr, 2019
本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络,通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明,这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化,而且还能通过训练稀疏多层神经网络实现一致的变量选择。
Nov, 2020
研究中提出了一种可扩展的变分贝叶斯方法,用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断,通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模,只需要预处理步骤,保留了均场变分贝叶斯的计算优势,同时确保了对目标参数以及不确定性量化的准确可靠推断,该算法在数值性能方面与现有方法相媲美,并且在估计和不确定性量化方面建立了伯恩斯坦 - 冯・米塞斯定理的相关理论保证。
Jun, 2024
研究了高维稀疏线性回归中,贝叶斯模型选择先验的平均场斯派克和板块变分贝叶斯(VB)逼近,证明在设计矩阵兼容条件下,该逼近方式渐进地达到最优稀疏性真理和响应向量的最优预测,经实验证明该算法与其他最先进的贝叶斯变量选择方法具有相当的性能,同时提出了一种新的优先更新方案来提高变分推理算法的性能。
Apr, 2019
使用加入 l1-norm 惩罚项的最大似然问题的解决办法来估计高斯或二元分布参数,以得到稀疏的无向图模型,并利用块坐标下降和 Nesterov's 一阶法等算法将复杂度限制在可接受范围内。
Jul, 2007
本论文介绍了一种基于稀疏高斯过程回归和潜变量模型的重新参数化变分推断方法,可以有效解决大规模数据集下高斯过程模型的可扩展性问题,并在飞行数据和 MNIST 数据集上证明了其优越性。
Feb, 2014
本文成功应用了 CSGM (Bora-Jalal-Price-Dimakis'17) 框架于临床 MRI 数据上,通过训练大脑扫描图像来生成先验分布,进而使用 Langevin 动态采样实现高质量的重建,在实验中表现出对真实分布和测量过程的鲁棒性。
Aug, 2021