结构稀疏贝叶斯神经网络中稀疏与缩减先验的综合研究
本研究通过采用贝叶斯视角，使用稀疏感知先验来修剪网络，使用Hierarchical priors修剪节点并使用后验不确定性确定编码权重的最优固定点精度，使得压缩率达到了最佳水平，并且仍然具有与优化速度或能量效率的方法相竞争的性能。
May, 2017
本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆(LSTM)网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向-到达(DOA)和三维几何恢复问题中。
Jun, 2017
本文旨在通过完全贝叶斯处理下的尖峰-平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。
Nov, 2020
本文提出了一种基于稀疏贝叶斯方法，用于处理深度神经网络在系统辨识中面临的过拟合、非线性输入回归选择和参数不确定性等挑战，此方法可行且有效，并在多个线性和非线性系统辨识实验中获得了好的仿真精度。
Jul, 2021
本文探讨使用随机梯度马尔科夫链蒙特卡罗方法作为Bayesian推理的核心方法，考虑各种选择稀疏网络结构的方法，以灵活地权衡模型存储成本和推理运行时间与预测性能和不确定性量化能力之间的潜力。实验结果表明，某些随机选择的子结构可以像从最先进的迭代剪枝方法中获得的子结构一样表现得很好，同时大大缩短模型训练时间。
Feb, 2022
本研究旨在利用模型不确定性作为 BNN 结构学习的框架，提出了可与模型空间约束结合的可扩展变分推理方法，试图在模型和参数的联合空间中进行推理，进而实现结构和参数不确定性的组合，并在基准数据集上进行了实验，表明使方法比普通 Bayesian neural networks 更加稀疏，但得到了与竞争模型相当的精度结果。
May, 2023
提出利用贝叶斯方法学习深度神经网络中的节点稀疏贝叶斯神经网络模型，证明其后验浓度速率接近最小最优和适应真实模型的平滑程度，并开发了一种新的MCMC算法，以实现节点稀疏BNN模型的贝叶斯推断。
May, 2023
深度学习的复杂模型限制了其巨大潜力的发挥，需要高效的稀疏化技术。贝叶斯稀疏化是一种关键方法，能够设计出在各种深度学习应用中既计算效率高又性能竞争力强的模型。本研究指出贝叶斯模型简化是一种更高效的模型参数修剪方法，相对于现有的基于随机变分推断的方案，具有更好的计算效率和修剪率。研究中通过对各种深度学习架构的实例进行了验证，包括经典的网络如LeNet以及现代框架如视觉Transformer和MLP-Mixer。
Sep, 2023
稀疏子空间变分推理（SSVI）是一种全稀疏贝叶斯神经网络（BNN）框架，它通过从随机初始化的低维稀疏子空间开始，交替优化稀疏子空间基选择和相关参数，实现了在训练和推理阶段一致高稀疏性的BNN模型。
Feb, 2024
本研究解决了深度学习中模型压缩的需求，提出了一种新的策略，借鉴贝叶斯模型选择的原则来高效地进行网络修剪和特征选择。研究结果表明，通过对后验包含概率的利用，压缩后的模型在各种模拟和真实世界基准数据集上展现出更优的泛化能力。
Nov, 2024