本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

Jun, 2017

该研究提出了高效的稀疏训练方法，通过引入连续性问题，将优化过程分为权重更新和结构参数更新两个步骤，前者可利用稀疏结构实现，后者通过方差减少策略梯度估计器而获得全面稀疏训练，维度之间的联系局限在两个步骤中，展示了远远超过之前方法的训练加速效果。

Nov, 2021

本文研究了期望传播方法在广义线性模型下的渐近特性，并通过自由概率理论提出了一种计算复杂度更低的方法，对于具有渐近自由特性的数据矩阵可以有效应用于微阵列数据的基因选择问题。

Jan, 2018

本文提出了一种基于先验学习的新方法，用于提高深度神经网络的泛化和不确定性估计，该方法利用可伸缩和结构化的神经网络后验作为具有泛化保证的信息先验。我们的学习先验在大规模上提供了具有表现力的概率表征，可以看作是在 ImageNet 上预训练模型的贝叶斯对应物，并进一步产生非平凡的泛化界限。我们还将这个想法扩展到了一个连续学习的框架中，其中我们的先验的有利特性是可取的。我们的技术贡献是（1）Kronecker 积分和求和计算，以及（2）导出和优化可追踪的目标，从而导致改进的泛化边界。从实证上来说，我们详尽地展示了这种方法用于不确定性估计和泛化的有效性。

Jul, 2023

我们提供了一种针对稀疏连接的前馈神经网络进行训练的保证方法，在学习线性网络的先前技术的基础上，我们展示了它们也可以有效地用于学习非线性网络，并在涉及输入标签和得分函数的时候操作矩阵，证明它们在温和条件下可以产生深层网络第一层的权重矩阵，实践中，我们的方法的输出可以用作梯度下降的有效初始值。

Dec, 2014

该论文提出了使用稀疏组套索惩罚来适应神经网络以解决非参数高维问题，其中真实功能位于低维子空间中，并对统计收敛性进行了表征。

Nov, 2017

本文基于最大后验 (MAP) 估计，提出了一种包含参数先验信息的贝叶斯推断层次结构，同时提供了相关的计算实例和应用案例，探讨了在高维数据下，在变量选择等问题中贝叶斯方法的优势与局限性。

Sep, 2010

本文介绍了一种期望传递（Expectation Propagation，EP）方法，用于具有高斯过程的多类别分类，可以适应大规模数据集。此方法可以通过随机梯度和小批次进行有效的培训，并且可以在数据实例数量 N 上进行计算成本，而不受其影响。此外，拟合推断过程中的额外假设使得内存成本与 N 无关。与使用变分推断近似所需计算的替代方法进行实证比较，结果表明，该方法表现出类似或甚至比这些技术更好的表现。

Jun, 2017

本文提出了一种新颖的神经自适应经验贝叶斯（NA-EB）框架，该框架结合了变分推断和梯度上升算法，以实现同步超参数选择和后验分布的近似，从而提高计算效率，并通过对各种任务的广泛评估展示了我们提出框架在预测准确性和不确定性量化方面的优越性。

Apr, 2024

本文介绍了 Powerpropagation 方法，它是一种针对神经网络权重参数化的方法，使用梯度下降时可使权重更新呈现 “富者越富” 的动态，从而产生稀疏模型，在模型性能相似的情况下，分布在零点处的密度提高，使得更多参数可被安全地剪枝，并在两种不同的环境下都表现出优越性。

Oct, 2021