通过研究两种常见的变分方法，该文证明了在低不确定性区域之间不存在过多信息增加的情况，并提供了深度神经网络中的柔性不确定性估计的近似贝叶斯后验分布，但发现了类似于单隐层 ReLU 情况的病理现象。
Sep, 2019
本研究介绍贝叶斯神经网络的实现方法，比较不同的近似推理方法，探讨如何在当前方法的基础上改进未来研究。
Jun, 2020
通过 Barron 定理，我们证明了一组满足某些 Fourier 条件的函数的组合可以通过一个多达 $n+1$ 层的神经网络来逼近，为深度神经网络的表达能力提供了解释。英文原文主要探讨了神经网络的一些基本性质以及其在生成模型领域的应用，建议阅读原文以获取更多细节。
Feb, 2017
本文介绍了贝叶斯神经网络中的概率层、架构和训练方法，并探讨了其扩展传统深度学习的方法，给出了 Tensorflow 的编程实现示例。然而，深层架构的不确定性考虑会让训练成本很高，而混合贝叶斯神经网络的策略可以很好地解决这个问题。
Jun, 2021
本论文介绍了 Bayesian hypernetworks 这一神经网络近似贝叶斯推断的框架，并通过可逆的变换实现了对其他神经网络参数的高效估计及其复杂后验分布多模式近似。实际应用表明，Bayesian hypernets 能够比 dropout 更好地抵御对抗样本攻击，并在正则化、主动学习和异常检测等一系列任务上表现出竞争力。
Oct, 2017
研究使用贝叶斯神经网络作为替代标准高斯过程代理模型进行优化，并比较了多种不同的近似推理程序，发现在不同问题中，方法的排名高度依赖于问题本身。其中，在高维问题中，无限宽度的贝叶斯神经网络特别有前途。
May, 2023
Transformers 在自然语言处理中变得至关重要，在机器翻译和摘要等应用中取得了显著成功。然而，与现有观点相反，本研究发现 Transformers 在可靠地逼近连续函数方面存在困难，依赖于具有较大区间的分段常数逼近。通过理论分析和实验证据，我们全面调查了这一问题并揭示了 Transformers 的限制根源，凸显了对其能力的精确理解的重要性。
Feb, 2024
这项研究探索了贝叶斯神经网络的概念，并提出了一种新颖的架构来显著减少网络的存储空间复杂性。此外，我们介绍了一种能够高效处理不确定性的算法，确保强健的收敛值而不会陷入局部极小值的问题，特别是在目标函数缺乏完美凸性的情况下。
Mar, 2024
将贝叶斯模型的归纳偏差与神经网络的灵活表示相结合，使得从自然语素材中有限学习成为可能。
贝叶斯方法在深度神经网络中应用广泛，因为它通过边缘化取代优化，能够提高模型的校准性和准确性，并利用神经网络结构中的先验偏好来帮助泛化。此外，最近的贝叶斯深度学习实践进展也提高了模型的准确性、校准性和可伸缩性。
Jan, 2020