研究表明， 使用全批处理的哈密顿蒙特卡罗方法可以提高贝叶斯神经网络的性能，并证明模型中选择的先验分布对性能的影响较小，但相比于深度集成、SGLD 等计算代价较小的方法，HMC 呈现出更接近于精确后验分布的预测分布；同时，研究发现贝叶斯神经网络在领域转移方面表现较差。

Apr, 2021

通过引入辅助引导变量，我们提出了一种简单的联合分布，该方法通过对后验采样偏置，使采样更多地集中在平坦区域，从而实现了更高效的后验采样以及更好的性能表现。

Oct, 2023

本文提出了一种与 BN 层等价的神经网络下具有一致性的、刻画了梯度的度量标准和对应的优化算法，该算法利用该标准对训练进行正则化，获得了与原始 SGD 相比较显著的性能提升。

Jan, 2021

通过比较基于平坦极小点优化器的损失曲面和在计算机视觉、自然语言处理和图表示学习任务的广泛基准测试中，我们发现了一些令人惊讶的发现，希望这能帮助研究人员进一步改进深度学习优化器，并帮助实践者为其问题选择正确的优化器。

Feb, 2022

提出利用贝叶斯方法学习深度神经网络中的节点稀疏贝叶斯神经网络模型，证明其后验浓度速率接近最小最优和适应真实模型的平滑程度，并开发了一种新的 MCMC 算法，以实现节点稀疏 BNN 模型的贝叶斯推断。

May, 2023

介绍了非参数迁移学习 (NPTL)，这是一种灵活的后验抽样方法，用于解决非参数学习的上下文中的分布偏移问题。通过大量的实证验证，证明我们的方法在 BMA 性能方面超过了其他基线模型。

Mar, 2024

深度神经网络（DNN）是各种计算机视觉任务的强大工具，但它们经常在可靠的不确定性量化方面遇到困难 - 这是实际应用的关键要求。贝叶斯神经网络（BNN）能够进行不确定性估计，但无法扩展到高度不稳定的大型 DNNs，这些 DNNs 难以训练。为了解决这个挑战，我们引入了适应性贝叶斯神经网络（ABNN），这是一种简单且可扩展的策略，可以在后期以最小的计算和训练开销的方式将 DNNs 无缝转换为 BNNs。ABNN 通过简单的 BNN 适应层（附加到归一化层）和对预训练模型进行少量微调步骤，保留了 DNNs 的主要预测性能，并增强了它们的不确定性量化能力。我们在多个图像分类和语义分割任务的数据集上进行了大量实验证明，ABNN 在不需要集成方法通常需要的计算预算的情况下实现了最先进的性能。

Dec, 2023

提出一种新的 Bayesian 深度学习方案，使用 collapsed samples 进行贝叶斯模型平均，从而平衡神经网络的可扩展性和准确性，并利用现有的体积计算求解器解决选取部分权重采样，从而达到提高样本效率的目的，并在各种回归和分类任务中实现了显着的改进，推动了不确定性预测和预测性能的新水平。

Jun, 2023

该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。

Sep, 2022

使用贝叶斯方法进行深度神经网络（BNNs）训练在广泛应用中受到了极大关注，并且已被有效地应用于各种情况。然而，大多数关于对 BNNs 的后验集中性质的研究仅在具有稀疏或重尾先验的 BNN 模型中证明结果。令人惊讶的是，目前还没有关于使用最常用的高斯先验进行 BNNs 的理论结果存在。这种理论缺乏是由于没有非稀疏且具有有界参数的深度神经网络（DNNs）的近似结果。在本文中，我们提出了一个新的近似理论，用于具有有界参数的非稀疏 DNNs。此外，基于该近似理论，我们表明具有非稀疏一般先验的 BNNs 可以以接近最小最优后验集中速率接近真实模型。

Mar, 2024