稀疏深度学习的高效变分推断及理论保证
本文提出了一种新的自适应经验贝叶斯方法来实现稀疏深度学习,该方法通过使用一类自适应 spike-and-slab 先验来保证稀疏性,应用该方法在 MNIST 和 Fashion MNIST 数据集上的表现最先进,在 CIFAR10 数据集的压缩性能也是最好的,同时该方法还提高了对抗攻击的抵抗能力。
Oct, 2019
本文提出一种新方法进行稀疏编码,在学习稀疏分布时通过截断样本避免使用有问题的松弛方法。通过在 Fashion MNIST 和 CelebA 数据集上与标准变分自编码器进行比较,证明了该方法具有更优越的性能、统计效率和梯度估计。
May, 2022
稀疏子空间变分推理(SSVI)是一种全稀疏贝叶斯神经网络(BNN)框架,它通过从随机初始化的低维稀疏子空间开始,交替优化稀疏子空间基选择和相关参数,实现了在训练和推理阶段一致高稀疏性的 BNN 模型。
Feb, 2024
本文介绍了一种基于贝叶斯思想的算法框架,通过查询稀疏线性模型后验协方差来解决高阶贝叶斯决策问题,并且利用该算法框架成功地推动了磁共振成像的采样轨迹优化,为实际图像的压缩感知提供了新的启示。
Oct, 2008
本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型,并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差,实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。
Jul, 2011
基于市场下行底部的趋势,通过计算国内主要增量资金、流动性、情绪、技术指标等多因素,进行权重计算,提出了基于隐藏半马尔科夫模型的股票量化分析方法。
Aug, 2023
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
研究了高维稀疏线性回归中,贝叶斯模型选择先验的平均场斯派克和板块变分贝叶斯(VB)逼近,证明在设计矩阵兼容条件下,该逼近方式渐进地达到最优稀疏性真理和响应向量的最优预测,经实验证明该算法与其他最先进的贝叶斯变量选择方法具有相当的性能,同时提出了一种新的优先更新方案来提高变分推理算法的性能。
Apr, 2019
本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具:一种新的确定性方法用于逼近神经网络的矩,消除了梯度方差;一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来,所得到的方法高效而稳健,在异方差回归应用中表现出了很好的预测性能。
Oct, 2018