Jan, 2024

稀疏贝叶斯学习模型的超参数估计

PDF
TL;DR本文提出了一个综合框架，用于稀疏贝叶斯学习模型中的超参数估计，包括著名的算法如期望最大化、MacKay 和凸包算法。通过交替最小化和线性化范式来统一解释这些算法，并引入了一种新颖的算法，表现出增强的效率，尤其是在低信噪比条件下。此外，还通过收敛性分析和数值实验来证实这些进展，在各种噪声条件和信噪比下证明了算法的有效性。
sparse bayesian learninghyperparameter estimationexpectation-maximizationconvex boundingalternating minimization
发现论文，激发创造
  • 稀疏广义线性模型的大规模变分推断和实验设计

    本文介绍了一种基于贝叶斯思想的算法框架，通过查询稀疏线性模型后验协方差来解决高阶贝叶斯决策问题，并且利用该算法框架成功地推动了磁共振成像的采样轨迹优化，为实际图像的压缩感知提供了新的启示。

    Oct, 2008

  • 基于稀疏贝叶斯方法的低秩矩阵估计

    本文提出了一种新的基于贝叶斯原则的稀疏学习（SBL）的 “矩阵完成” 和 “鲁棒主成分分析” 算法，该方法通过将低秩约束作为稀疏约束来确定正确的秩，并能提供很高的恢复性能。

    Feb, 2011

  • 稀疏贝叶斯优化

    介绍了一种适用于解释性要求高场景下的基于正则化的 BO 方法（SEBO），以发现稀疏且解释性更高的配置。该方法使用一种基于连续同伦的可微松弛技巧，使其能够在直接处理 L0 正则化的同时实现目标优化和稀疏化探索，经过合成和真实世界问题的评估，证明这种方法能够有效优化稀疏化问题。

    Mar, 2022

  • 推广线性模型统一贝叶斯推断框架

    本文提出了一种统一的贝叶斯推理框架，用于解决广义线性模型问题，并证明了该框架的有效性和等价性，同时也引出了基于标准线性模型的一些新算法扩展。该框架在一位信号采样处理中有着显著的表现，说明了该方法的优越性。

    Dec, 2017

  • 约束稀疏回归的交替方向算法：应用于高光谱解混合

    本文介绍了两种新算法（SUnSAL 和 C-SUnSAL），用于解决凸优化问题，特别是在高光谱分离中使用的问题。这些算法基于交替方向乘子方法，可用于解决 CBP 和 CBPDN 问题以及 CLS 和 FCLS 问题。实验结果表明，这些算法在速度和准确性方面优于现有的方法。

    Feb, 2010

  • 顺序模型基于集成优化

    本文提出了一种新的基于 SMBO 和贝叶斯学习的自动构建学习模型合集的方法，实验证明其优于传统的 SMBO 方法在回归以及分类数据集上的表现。

    Feb, 2014

  • 稀疏轴向对齐子空间的高维贝叶斯优化

    基于高斯过程 surrogate 模型，利用 Hamiltonian Monte Carlo 进行推断，能够迅速识别与建模未知目标函数相关的空间稀疏子空间，实现高维贝叶斯优化 (Bayesian optimization) 中样本效率与性能的权衡。

    Feb, 2021

  • 使用离散优化的稀疏高斯图模型：计算和统计视角

    我们提出了一种稀疏图的学习方法，应用于一个无向高斯图模型的问题，并通过凸混合整数规划框架得到了新的估计器，该估计器在稀疏性精度矩阵的估计与变量选择方面有着优越的性能。

    Jul, 2023

  • 高维稀疏先验线性回归的变分贝叶斯

    研究了高维稀疏线性回归中，贝叶斯模型选择先验的平均场斯派克和板块变分贝叶斯（VB）逼近，证明在设计矩阵兼容条件下，该逼近方式渐进地达到最优稀疏性真理和响应向量的最优预测，经实验证明该算法与其他最先进的贝叶斯变量选择方法具有相当的性能，同时提出了一种新的优先更新方案来提高变分推理算法的性能。

    Apr, 2019

  • 贝叶斯稀疏线性混合模型多基因建模

    提出了一种 “贝叶斯稀疏线性混合模型”(BSLMM)，将线性混合模型 (LMMs) 和稀疏回归模型两种方法相结合，以实现多基因建模。通过适当的超参数先验规范和新颖的马尔可夫蒙特卡罗算法进行后验推理，BSLMM 的方法在两个多基因建模应用中的估计表现的优势比前文提出的大规模回归方法更好。

    Sep, 2012