通过使用深度学习方法对结构化的高维数据进行深入研究，我们得出一种预测规则，利用半仿射输入转换的层次结构生成一组属性或特征，然后应用概率统计方法，实现可伸缩的带有不确定性量化的预测规则，其中稀疏正则化找到了这些特征。

Oct, 2023

使用贝叶斯较量的关键是无脊柱化，这可以提高现代深度神经网络的准确性和校准性，因为这些网络通常被数据欠规范，可以表示许多引人入胜但不同的解决方案。我们展示了深度集合提供了一个近似贝叶斯无脊柱化的有效机制，并提出了一种相关方法，通过在吸引盆地内进行无脊柱化来进一步提高预测分布，而不需要显着的开销。同时，我们还研究了模糊神经网络权重分布所隐含的函数先验，从概率的角度解释了这些模型的泛化性质。最后，我们提供了一个贝叶斯的视角来温和地校准预测分布。

Feb, 2020

贝叶斯方法在深度神经网络中应用广泛，因为它通过边缘化取代优化，能够提高模型的校准性和准确性，并利用神经网络结构中的先验偏好来帮助泛化。此外，最近的贝叶斯深度学习实践进展也提高了模型的准确性、校准性和可伸缩性。

Jan, 2020

综合人工智能系统需要不仅能够用不同的 ` 感官 '（例如视觉和听觉）感知环境，还需要推断世界的条件（甚至因果）关系及其对应的不确定性。本文综述了贝叶斯深度学习的基本原理及其在推荐系统、主题模型和控制等领域的应用，讨论了贝叶斯深度学习与神经网络等其他相关主题之间的关系和差异。

Apr, 2016

通过发展概率性深度学习框架，研究人员解释了为什么深度学习算法能够胜任复杂感知推断任务，并发现了这些算法的成功和不足之处，提供了其改进的原则路径。

Apr, 2015

本研究利用自然梯度变分推理方法对深度神经网络进行实用性的训练，并通过批归一化、数据扩充和分布式训练等技术获得类似于 Adam 优化器的性能，即使在 ImageNet 等大型数据集上也是如此。此外，本研究验证了使用贝叶斯原理的好处：预测概率被很好地校准，超出分布数据的不确定性得到改善，并且持续学习性能得到提高。该研究旨在实现实用性的深度学习，并同时保留贝叶斯原理的好处。最后提供了一个 PyTorch 的实现优化器。

Jun, 2019

在当前深度学习研究的背景下，着重于在涉及大型图像和语言数据集的监督任务中取得高预测准确性，然而从更广泛的视角来看，存在许多被忽视的度量标准、任务和数据类型，如不确定性、主动和持续学习以及科学数据，需要关注。本文认为贝叶斯深度学习（BDL）是一个有前途的方向，在这些不同环境中提供了优势。本文强调 BDL 的优势、现有挑战，并重点介绍了一些旨在解决这些障碍的令人兴奋的研究路径。展望未来，讨论集中在如何将大规模基础模型与 BDL 结合起来发挥其全部潜力。

Feb, 2024

本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法，使用贝叶斯方法更新后验概率，与传统方法相比实验表明可以取得更好的效果。

Feb, 2018

本文讨论了适应性结构数据处理的问题，提出了一种基于贝叶斯深度学习框架的图形学习方法，该方法可用于处理具有不同连续边缘特征的图形，生成无监督的嵌入向量，并展示出良好的性能。该文的最终目标是提供深度学习领域的贝叶斯透视。

Feb, 2022

探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功，以及其之所以具有超预期的表现，推断是因为过度参数化可以让梯度方法寻找插值解，这些方法隐含地施加正则化，并且过度参数化导致了良性过拟合等基本原理构成了这个现象，同时摘要了最新的理论进展，重点考虑了神经网络的线性区域。

Mar, 2021