使用软正规化进行不确定性估计的变分推断贝叶斯卷积神经网络
通过在 CNN 的内核上建立概率分布，使用伯努利变分分布来近似模型的不可切合后验，并将dropout网络训练视为 Bayesian 神经网络中的近似推理。相比于标准技术，我们的模型在小数据上具备更好的鲁棒性，并在 CIFAR-10 上的分类准确率上取得了发表的最新结果的显著改善。
Jun, 2015
综合人工智能系统需要不仅能够用不同的`感官'（例如视觉和听觉）感知环境，还需要推断世界的条件（甚至因果）关系及其对应的不确定性。本文综述了贝叶斯深度学习的基本原理及其在推荐系统、主题模型和控制等领域的应用，讨论了贝叶斯深度学习与神经网络等其他相关主题之间的关系和差异。
Apr, 2016
使用变分贝叶斯方法和后向传播裁剪算法等对循环神经网络进行训练，大幅降低了参数数量和提高了贝叶斯逼近性能。在语言建模和图像描述等任务中，贝叶斯循环神经网络优于传统循环神经网络。
Apr, 2017
本论文介绍了Bayesian hypernetworks这一神经网络近似贝叶斯推断的框架，并通过可逆的变换实现了对其他神经网络参数的高效估计及其复杂后验分布多模式近似。实际应用表明，Bayesian hypernets能够比dropout更好地抵御对抗样本攻击，并在正则化、主动学习和异常检测等一系列任务上表现出竞争力。
Oct, 2017
本文提出了一种使用卷积神经网络实现的关于具有随机偏微分方程的不确定性建模的代理模型，该方法使用变分梯度下降算法对参数进行“近似贝叶斯推断”，可以在处理不确定性时实现和其他方法相比具有最先进的预测精度和不确定性量化，即使训练数据量相对较小，也能获得非常好的性能。
Jan, 2018
本文提出了基于贝叶斯卷积神经网络的变分推断方法，通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题，并在图像分类等任务上进行了实验测试。
Jan, 2019
本研究利用自然梯度变分推理方法对深度神经网络进行实用性的训练，并通过批归一化、数据扩充和分布式训练等技术获得类似于Adam优化器的性能，即使在ImageNet等大型数据集上也是如此。此外，本研究验证了使用贝叶斯原理的好处: 预测概率被很好地校准，超出分布数据的不确定性得到改善，并且持续学习性能得到提高。该研究旨在实现实用性的深度学习，并同时保留贝叶斯原理的好处。最后提供了一个 PyTorch 的实现优化器。
Jun, 2019
本文讨论贝叶斯神经网络在图片分类上的应用，发现此类应用使用的是错误的似然度。作者开发了一个描述“筛选”过程的生成模型，并与之前使用的调整后的后验概率似然度进行了基于贝叶斯思想的对比。
Aug, 2020
本文介绍了贝叶斯神经网络中的概率层、架构和训练方法，并探讨了其扩展传统深度学习的方法，给出了 Tensorflow 的编程实现示例。然而，深层架构的不确定性考虑会让训练成本很高，而混合贝叶斯神经网络的策略可以很好地解决这个问题。
Jun, 2021