Feb, 2022

参数稀疏性对于贝叶斯深度学习中随机梯度 MCMC 方法的影响

PDF
TL;DR本文探讨使用随机梯度马尔科夫链蒙特卡罗方法作为 Bayesian 推理的核心方法，考虑各种选择稀疏网络结构的方法，以灵活地权衡模型存储成本和推理运行时间与预测性能和不确定性量化能力之间的潜力。实验结果表明，某些随机选择的子结构可以像从最先进的迭代剪枝方法中获得的子结构一样表现得很好，同时大大缩短模型训练时间。
bayesian methodsapproximate bayesian inference methodsneural network modelssparse network structuresstochastic gradient mcmc methods
发现论文，激发创造
  • 稀疏深度学习的自适应经验贝叶斯方法

    本文提出了一种新的自适应经验贝叶斯方法来实现稀疏深度学习，该方法通过使用一类自适应 spike-and-slab 先验来保证稀疏性，应用该方法在 MNIST 和 Fashion MNIST 数据集上的表现最先进，在 CIFAR10 数据集的压缩性能也是最好的，同时该方法还提高了对抗攻击的抵抗能力。

    Oct, 2019

  • 稀疏贝叶斯网络：医学图像分析中高效的不确定性量化

    通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

    Jun, 2024

  • 稀疏深度学习的高效变分推断及理论保证

    本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

    Nov, 2020

  • 启用图形重新参数化，在贝叶斯深度神经网络中实现 1000 + 次蒙特卡罗迭代

    深度学习模型不确定性估计中，传统的高斯分布不一定适用。本研究提出了一种构建计算图框架的方法，通过识别概率分布族，实现计算图的纬度独立或者仅仅弱相关，并进行蒙特卡罗采样来估计 KL 散度等指标，从而提高图像识别的准确性、稳定性以及训练过程中的内存和时间效率。

    Feb, 2022

  • 利用对称性在贝叶斯神经网络中实现有效的 MCMC 采样

    本研究旨在推广利用深度神经网络中的对称性，在保证不影响功能输出的前提下优化贝叶斯推断过程，并进一步给出适当的蒙特卡罗采样次数的上限来捕捉功能多样性，最终成功实现高效的贝叶斯不确定性量化。

    Apr, 2023

  • 变分稀疏高斯过程 MCMC

    本文研究了在数据量大、似然不为高斯分布和协方差函数参数后验估计方面如何高效地计算，提出了一种稀疏的变分近似方法和混合蒙特卡洛采样策略，实现了同时估计函数值和协方差参数。

    Jun, 2015

  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • 使用 MCMC 进行贝叶斯神经网络建模：基于 Python 的教程

    本文介绍了如何通过编程实现 MCMC 方法以进行参数估计和不确定性量化，并探讨了在机器学习和深度学习等大规模模型中应用 MCMC 方法的挑战，主要通过使用 Python 语言示例代码实现贝叶斯概率模型的应用。

    Apr, 2023

  • 使用双重随机 MCMC 学习深度生成模型

    本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

    Jun, 2015

  • 高维贝叶斯变量选择的计算复杂度

    本文研究高维贝叶斯线性回归的计算复杂度，介绍了一种截尾稀疏先验变量选择方法，通过 Metropolis-Hastings 算法，保证了变量选择的一致性和快速混合。

    May, 2015