本文提出了一种新的自适应经验贝叶斯方法来实现稀疏深度学习，该方法通过使用一类自适应 spike-and-slab 先验来保证稀疏性，应用该方法在 MNIST 和 Fashion MNIST 数据集上的表现最先进，在 CIFAR10 数据集的压缩性能也是最好的，同时该方法还提高了对抗攻击的抵抗能力。

Oct, 2019

通过贝叶斯框架，使用稀疏源的混合问题，提出了一种对未观测源具有零原子和高斯分布的加权混合作为前任分布以促进稀疏度的下完备字典学习任务。

Aug, 2009

在这篇论文中，我们提出了一种自动编码器架构（WLSC），其潜在表示通过二分图的拉普拉斯二次形式实现了隐式的、本地的谱聚类，生成了一组多样的人工感受野，与 V1 的灵长类动物数据具有相近的一致性，而且也展示了我们的正则化可以被解释为感受野对特定刺激类别的早期专门化，即我们为之后的皮质阶段引入了弱的聚类偏差，这是已知的功能性和空间分离（即拓扑）发生的地方。这些结果表明，在对 V1 及其之后的特征分离进行描述时，对感受野和放电率进行空间正则化至关重要。

Nov, 2023

通过选择性地通过梯度敏感性分析评估确定性显著性，本研究引入了对稀疏（部分）贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合，充分利用两种表示的优点，实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计，相比完全贝叶斯化和集合方法，能够显著减少 95% 以上贝叶斯参数，从而大大降低计算开销。

Jun, 2024

本文介绍了一种基于贝叶斯框架的高斯图模型确定方法，它是基于连续时间出生 - 死亡过程的转维度马尔可夫链蒙特卡罗方法。该方法易于实现，在高维图形方面具有计算可行性，验证表明该方法在收敛、图形空间中的混合和计算时间方面优于替代贝叶斯方法，并应用于基因表达研究中。

Oct, 2012

本研究提出了一种稀疏情况下基于因子分解的脑机接口信号处理方法，通过采用不同的特征提取器从潜空间获取不同表示并最小化潜空间共享情况，成功地提取到了稀疏条件下的脑电信号的决定性特征。

Jun, 2022

深度学习的复杂模型限制了其巨大潜力的发挥，需要高效的稀疏化技术。贝叶斯稀疏化是一种关键方法，能够设计出在各种深度学习应用中既计算效率高又性能竞争力强的模型。本研究指出贝叶斯模型简化是一种更高效的模型参数修剪方法，相对于现有的基于随机变分推断的方案，具有更好的计算效率和修剪率。研究中通过对各种深度学习架构的实例进行了验证，包括经典的网络如 LeNet 以及现代框架如视觉 Transformer 和 MLP-Mixer。

Sep, 2023

本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确性。

Apr, 2023

本文提出了一种基于得分的结构学习快速算法的罚似然估计框架，该快速算法不受限制地处理高维数据集，并使用凹规则化以解决估计问题的固有不可识别性。其中，高斯贝叶斯网络是重点研究领域之一。

Jan, 2014

基于熵的学习目标可用于标准概率稀疏编码，我们推导出此类目标，并通过数值实验证明了其可行性。我们研究了包括关联潜变量的高斯后验近似和深度自编码近似在内的不同后验近似方法，并通过熵退火技术实现了改进的学习效果。这是我们对标准概率稀疏编码的两个理论贡献之一，我们首次提供了此类非平凡后验近似的解析 ELBO 目标函数，并展示了如何利用 ELBO 收敛到熵和的最新研究成果进行学习。

Nov, 2023