稀疏深度学习的自适应经验贝叶斯方法

Oct, 2019

稀疏深度学习的自适应经验贝叶斯方法

An Adaptive Empirical Bayesian Method for Sparse Deep Learning

Wei Deng, Xiao Zhang, Faming Liang, Guang Lin

TL;DR本文提出了一种新的自适应经验贝叶斯方法来实现稀疏深度学习，该方法通过使用一类自适应 spike-and-slab 先验来保证稀疏性，应用该方法在 MNIST 和 Fashion MNIST 数据集上的表现最先进，在 CIFAR10 数据集的压缩性能也是最好的，同时该方法还提高了对抗攻击的抵抗能力。

Abstract

We propose a novel adaptive empirical bayesian method for sparse deep learning, where the sparsity is ensured via a class of self-adaptive spike-and-slab priors. The proposed method works by alternatively sampling from an adaptive hierarchical posterior distribution using stochastic gr

adaptive empirical bayesian method sparse deep learning self-adaptive spike-and-slab priors stochastic gradient markov chain monte carlo resistance to adversarial attacks

发现论文，激发创造

稀疏深度学习的高效变分推断及理论保证

本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。

Nov, 2020

参数稀疏性对于贝叶斯深度学习中随机梯度 MCMC 方法的影响

本文探讨使用随机梯度马尔科夫链蒙特卡罗方法作为 Bayesian 推理的核心方法，考虑各种选择稀疏网络结构的方法，以灵活地权衡模型存储成本和推理运行时间与预测性能和不确定性量化能力之间的潜力。实验结果表明，某些随机选择的子结构可以像从最先进的迭代剪枝方法中获得的子结构一样表现得很好，同时大大缩短模型训练时间。

Feb, 2022

贝叶斯模型简化的深度神经网络的贝叶斯稀疏化

深度学习的复杂模型限制了其巨大潜力的发挥，需要高效的稀疏化技术。贝叶斯稀疏化是一种关键方法，能够设计出在各种深度学习应用中既计算效率高又性能竞争力强的模型。本研究指出贝叶斯模型简化是一种更高效的模型参数修剪方法，相对于现有的基于随机变分推断的方案，具有更好的计算效率和修剪率。研究中通过对各种深度学习架构的实例进行了验证，包括经典的网络如 LeNet 以及现代框架如视觉 Transformer 和 MLP-Mixer。

Sep, 2023

稀疏广义线性模型的大规模变分推断和实验设计

本文介绍了一种基于贝叶斯思想的算法框架，通过查询稀疏线性模型后验协方差来解决高阶贝叶斯决策问题，并且利用该算法框架成功地推动了磁共振成像的采样轨迹优化，为实际图像的压缩感知提供了新的启示。

Oct, 2008

掩码贝叶斯神经网络：理论保证及其后验推断

提出利用贝叶斯方法学习深度神经网络中的节点稀疏贝叶斯神经网络模型，证明其后验浓度速率接近最小最优和适应真实模型的平滑程度，并开发了一种新的 MCMC 算法，以实现节点稀疏 BNN 模型的贝叶斯推断。

May, 2023

关于深度贝叶斯神经网络后验的局部自适应可扩展扩散采样方法的收敛性

深度神经网络的鲁棒性不确定性量化是许多深度学习应用的重要需求，贝叶斯神经网络是建模深度神经网络不确定性的一种有前景的方法，但从神经网络的后验分布中生成样本仍然是一个重大挑战。在本文中，我们展示了这些方法在采样分布时可能存在显著偏差，即使在步长趋近于零且批量大小足够大的情况下。

Mar, 2024

从贝叶斯稀疏到门控循环神经网络

本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

Jun, 2017

基于稀疏贝叶斯深度学习的动态系统识别

本文提出了一种基于稀疏贝叶斯方法，用于处理深度神经网络在系统辨识中面临的过拟合、非线性输入回归选择和参数不确定性等挑战，此方法可行且有效，并在多个线性和非线性系统辨识实验中获得了好的仿真精度。

Jul, 2021

结构稀疏贝叶斯神经网络中稀疏与缩减先验的综合研究

基于市场下行底部的趋势，通过计算国内主要增量资金、流动性、情绪、技术指标等多因素，进行权重计算，提出了基于隐藏半马尔科夫模型的股票量化分析方法。

Aug, 2023

贝叶斯深度知识

本文探讨了应用于深度神经网络中的贝叶斯参数估计问题，提出了一种压缩 Monte Carlo 近似方法的新算法，与贝叶斯神经网络中的其他两种方法作了对比，证明了该算法不仅表现更优，而且更简单易于实现且测试所需运算资源更少。

Jun, 2015