贝叶斯压缩回归
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
本论文提出了一种新的条件密度滤波算法(C-DF),用于有效的在线贝叶斯推断,通过在新数据到达时从条件后验分布的近似中采样,利用统计量消除了同时存储或处理整个数据集的需求,从而提高了内存需求和运行时长,改善了混合度,并展示了其在高维压缩回归中的应用。同时,本文证明了C-DF样本随着采样的进行和数据的增多而渐近地收敛于目标后验分布。
Jan, 2014
本文研究高维贝叶斯线性回归的计算复杂度,介绍了一种截尾稀疏先验变量选择方法,通过Metropolis-Hastings算法,保证了变量选择的一致性和快速混合。
May, 2015
本文提出了一种用于高维稀疏因子模型的新贝叶斯推理方法,该方法允许推断因子维数和载荷矩阵的稀疏结构;介绍了一种特定的依赖关系,使得后验分布在保持计算可行性的同时自适应聚焦于正确的因子维度和载荷矩阵的稀疏水平;数值研究表明该方法表现优异。
May, 2023
高维问题一直被认为是贝叶斯优化算法的致命软肋。本文通过识别导致标准贝叶斯优化在高维任务中性能不佳的退化情况,并通过减少模型复杂性的角度探究现有算法如何应对这些退化情况。此外,我们提出了一种增强对标准贝叶斯优化算法中先验假设的修改方法,通过与维度进行简单缩放的高斯过程长度尺度先验,揭示了在高维情况下标准贝叶斯优化比以往认为的表现要好得多,明显优于多个常见的真实高维任务的现有最先进算法。
Feb, 2024
稀疏子空间变分推理(SSVI)是一种全稀疏贝叶斯神经网络(BNN)框架,它通过从随机初始化的低维稀疏子空间开始,交替优化稀疏子空间基选择和相关参数,实现了在训练和推理阶段一致高稀疏性的BNN模型。
Feb, 2024
研究中提出了一种可扩展的变分贝叶斯方法,用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断,通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模,只需要预处理步骤,保留了均场变分贝叶斯的计算优势,同时确保了对目标参数以及不确定性量化的准确可靠推断,该算法在数值性能方面与现有方法相媲美,并且在估计和不确定性量化方面建立了伯恩斯坦-冯·米塞斯定理的相关理论保证。
Jun, 2024
本研究解决了深度学习中模型压缩的需求,提出了一种新的策略,借鉴贝叶斯模型选择的原则来高效地进行网络修剪和特征选择。研究结果表明,通过对后验包含概率的利用,压缩后的模型在各种模拟和真实世界基准数据集上展现出更优的泛化能力。
Nov, 2024
本研究解决了压缩感知中的基本线性逆问题,提出了一种新型的正则化生成先验。该方法结合了经典字典基础的压缩感知思想与稀疏贝叶斯学习,旨在通过少量压缩和噪声数据样本进行学习,有效地进行不确定性量化,且无需优化算法解决逆问题。
Nov, 2024