Jun, 2019

基于贝叶斯原理的实用深度学习

PDF
TL;DR本研究利用自然梯度变分推理方法对深度神经网络进行实用性的训练，并通过批归一化、数据扩充和分布式训练等技术获得类似于 Adam 优化器的性能，即使在 ImageNet 等大型数据集上也是如此。此外，本研究验证了使用贝叶斯原理的好处：预测概率被很好地校准，超出分布数据的不确定性得到改善，并且持续学习性能得到提高。该研究旨在实现实用性的深度学习，并同时保留贝叶斯原理的好处。最后提供了一个 PyTorch 的实现优化器。
bayesian methodsdeep learningnatural-gradient variational inferencebatch normalizationcontinual-learning performance
发现论文，激发创造
  • 深度贝叶斯模型的改进变分推理

    深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

    Jan, 2024

  • 鲁棒贝叶斯神经网络的确定性变分推断

    本研究提出两种创新方法以将变分贝叶斯转化为贝叶斯神经网络的稳健推理工具：一种新的确定性方法用于逼近神经网络的矩，消除了梯度方差；一种参数的分层先验和自动选择先验方差的新的经验贝叶斯程序。将这两种方法结合起来，所得到的方法高效而稳健，在异方差回归应用中表现出了很好的预测性能。

    Oct, 2018

  • 贝叶斯神经网络实践 -- 适用于深度学习用户的教程

    该研究论文介绍了深度学习和贝叶斯统计的结合，使用贝叶斯神经网络进行训练和评估以及解决拟合不足的问题。

    Jul, 2020

  • 贝叶斯神经网络：基础知识

    本文介绍了贝叶斯神经网络中的概率层、架构和训练方法，并探讨了其扩展传统深度学习的方法，给出了 Tensorflow 的编程实现示例。然而，深层架构的不确定性考虑会让训练成本很高，而混合贝叶斯神经网络的策略可以很好地解决这个问题。

    Jun, 2021

  • 深度学习：贝叶斯视角

    本文介绍了一种基于贝叶斯概率论的深度学习方法，并应用于 Airbnb 的国际订房预测，结果表明深度学习对于高维数据预测有较好的表现。

    Jun, 2017

  • 神经网络中的隐含权重不确定性

    该论文介绍了 Bayes by Hypernet，一种新的变分逼近方法，通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信，并且不能产生有意义的不确定性度量的短板，本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性，同时满足复杂度、可扩展性和准确度的要求。

    Nov, 2017

  • 贝叶斯卷积神经网络与变分推断的全面指南

    本文提出了基于贝叶斯卷积神经网络的变分推断方法，通过引入欠拟合和过拟合的概率分布来解决神经网络普遍存在的预测不确定性问题，并在图像分类等任务上进行了实验测试。

    Jan, 2019

  • 深度神经网络的贝叶斯增量学习

    本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法，使用贝叶斯方法更新后验概率，与传统方法相比实验表明可以取得更好的效果。

    Feb, 2018

  • 自适应优化方法实现神经网络的贝叶斯实用学习

    提出了一个新的框架，基于自适应优化算法（如 AdaGrad 和 Adam）的新的概率解释，估计神经网络权重的后验分布，并通过实验证明了学习到的不确定性能够正确地与权重的预测能力相关，并且在多臂赌博机的 Thompson 抽样设置中与标准方法的表现相比，Badam 方法的推导不确定性估计的质量是足够好的。

    Nov, 2018

  • 贝叶斯深度学习与概率泛化的视角

    使用贝叶斯较量的关键是无脊柱化，这可以提高现代深度神经网络的准确性和校准性，因为这些网络通常被数据欠规范，可以表示许多引人入胜但不同的解决方案。我们展示了深度集合提供了一个近似贝叶斯无脊柱化的有效机制，并提出了一种相关方法，通过在吸引盆地内进行无脊柱化来进一步提高预测分布，而不需要显着的开销。同时，我们还研究了模糊神经网络权重分布所隐含的函数先验，从概率的角度解释了这些模型的泛化性质。最后，我们提供了一个贝叶斯的视角来温和地校准预测分布。

    Feb, 2020