稀疏深度学习的统计保证
本文研究了深度神经网络的泛化能力和节点稀疏性之间的关系，通过开发一个基于减小的有效模型大小的框架来证明了稀疏和泛化之间的基本权衡关系，并提出了一种新的方法来分析这个问题。
Jul, 2023
本文旨在通过完全贝叶斯处理下的尖峰 - 平板先验训练稀疏深度神经网络，通过连续放松伯努利分布开发一组计算有效的变分推断方法。实证结果表明，这种变分程序不仅提供了关于贝叶斯预测分布的不确定性量化，而且还能通过训练稀疏多层神经网络实现一致的变量选择。
Nov, 2020
本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。
Jun, 2017
我们提供了一种针对稀疏连接的前馈神经网络进行训练的保证方法，在学习线性网络的先前技术的基础上，我们展示了它们也可以有效地用于学习非线性网络，并在涉及输入标签和得分函数的时候操作矩阵，证明它们在温和条件下可以产生深层网络第一层的权重矩阵，实践中，我们的方法的输出可以用作梯度下降的有效初始值。
Dec, 2014
提出利用贝叶斯方法学习深度神经网络中的节点稀疏贝叶斯神经网络模型，证明其后验浓度速率接近最小最优和适应真实模型的平滑程度，并开发了一种新的 MCMC 算法，以实现节点稀疏 BNN 模型的贝叶斯推断。
May, 2023
本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。
Jan, 2021
稀疏深度学习在处理依赖数据方面的预测不确定性量化、顶点估计和模型压缩等领域中已成为一种流行的技术。本文通过研究稀疏深度学习与依赖数据的理论，表明稀疏循环神经网络能够一致地估计，并且在适当假设下，其预测呈渐近正态分布，从而能够正确量化预测的不确定性。数值实验结果显示，稀疏深度学习在时间序列数据的预测不确定性量化方面优于诸如互联置信度等先进方法。此外，我们的研究结果还表明，所提出的方法能够一致地识别时间序列数据的自回归阶数，并在大规模模型压缩方面优于现有方法。该方法在金融、医疗和能源等领域具有重要的实际意义，因为准确的顶点估计和预测不确定性量化都是关注的焦点。
Oct, 2023
研究稀疏神经活动如何影响具有修正线性单元激活的神经网络的一般化性能，提出神经网络高斯过程（NNGP）核，观察到在浅层时更稀疏的网络在各种数据集上优于非稀疏网络，并通过扩展现有的核 - 岭回归的一般化误差理论来验证此观察结果。
May, 2023
本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。
Jun, 2019