Feb, 2024

大规模人工智能时代的贝叶斯深度学习

PDF
TL;DR在当前深度学习研究的背景下，着重于在涉及大型图像和语言数据集的监督任务中取得高预测准确性，然而从更广泛的视角来看，存在许多被忽视的度量标准、任务和数据类型，如不确定性、主动和持续学习以及科学数据，需要关注。本文认为贝叶斯深度学习（BDL）是一个有前途的方向，在这些不同环境中提供了优势。本文强调 BDL 的优势、现有挑战，并重点介绍了一些旨在解决这些障碍的令人兴奋的研究路径。展望未来，讨论集中在如何将大规模基础模型与 BDL 结合起来发挥其全部潜力。
deep learningpredictive accuracybayesian deep learninguncertaintycontinual learning
发现论文，激发创造
  • 超越深度集成 —— 基于分布转移评估贝叶斯深度学习的大规模研究

    通过对大量卷积和变压器模型的评估，从分布偏移的角度研究了 Bayesian 深度学习算法的泛化能力和校准能力，发现单模后验逼近被集成的方式能够显著提高模型的泛化能力和校准性，而在海量预训练模型上微调时，基于变分推理的方法表现最优，现代的近似推理算法（如 SWAG）能够实现最佳的校准度。

    Jun, 2023

  • 基于贝叶斯深度学习组件的可靠自主系统

    本文介绍了一种方法，通过对 BDL 组件之间的不确定性和相互作用进行考虑来捕捉整个系统的不确定性，实验表明，该方法既能够捕捉有用的不确定性估计，同时又略微提高了自主航空导航系统的性能。此外，我们还讨论了采用 BDL 构建可靠自主系统的好处、挑战和影响。

    Jan, 2023

  • 贝叶斯深度学习调查

    综合人工智能系统需要不仅能够用不同的 ` 感官 '（例如视觉和听觉）感知环境，还需要推断世界的条件（甚至因果）关系及其对应的不确定性。本文综述了贝叶斯深度学习的基本原理及其在推荐系统、主题模型和控制等领域的应用，讨论了贝叶斯深度学习与神经网络等其他相关主题之间的关系和差异。

    Apr, 2016

  • 评估基于贝叶斯深度学习的语义分割方法

    本研究提出了三种度量标准以评估贝叶斯深度学习模型在语义分割任务中的不确定性估计。通过修改 DeepLab-v3+ 模型并使用 MC dropout 和 Concrete dropout 作为推断技术，本研究在 Cityscapes 数据集上比较和测试这两种推断技术的性能。结果可作为研究者对改进不确定性量化的参考。

    Nov, 2018

  • 深度贝叶斯主动学习图像数据

    该研究结合贝叶斯深度学习与主动学习框架，在高维图像数据的任务中，证明了其在现有主动学习方法上的显着改进。研究表明，结合专业模型，如贝叶斯卷积神经网络，可以使主动学习技术在 MNIST 数据集和皮肤癌诊断任务中得到显著改进。

    Mar, 2017

  • 自然语言处理的深度贝叶斯主动学习：一项大规模实证研究结果

    本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。

    Aug, 2018

  • 走向贝叶斯深度学习：框架与一些现有方法

    介绍了一种称为贝叶斯深度学习的统一框架，将深度学习和贝叶斯模型紧密融合，以提高高层次推理的性能并增强深度学习的感知能力。讨论了它在推荐系统、主题模型和控制等领域的应用，以及与贝叶斯神经网络的关系和区别。

    Aug, 2016

  • 深度学习：贝叶斯视角

    本文介绍了一种基于贝叶斯概率论的深度学习方法，并应用于 Airbnb 的国际订房预测，结果表明深度学习对于高维数据预测有较好的表现。

    Jun, 2017

  • 商务分析中的深度学习：期望与现实的冲突

    该论文论述了深度学习虽然备受欢迎，但在商业分析领域普及存在困难，原因是计算复杂度、数据结构、缺乏透明度（黑匣子）和人才短缺等问题，而且在结构化数据集上无法优于传统的机器学习模型。因此，应该把深度学习视为现有机器学习模型的有力补充，而非通用解决方案。

    May, 2022

  • Bayesian 深度学习对于离散 - 连续和偏斜数据不确定性的量化

    该研究展示了一个离散 - 连续 Bayesian 深度学习模型，并使用高斯和对数正态分布来量化模型的不确定性，该模型可以更好地处理具有极度偏斜分布的数据。该模型为温室气体降尺度模型提供了不确定性评估，并在预测精度和不确定性校准方面表现出众。

    Feb, 2018