贝叶斯深度学习中的先验知识综述

May, 2021

贝叶斯深度学习中的先验知识综述

Priors in Bayesian Deep Learning: A Review

Vincent Fortuin

TL;DR该综述强调了先验选择对贝叶斯深度学习的重要性，并概述了各种先验方法及利用数据进行先验学习方法，以期激励实践者们更加谨慎地思考其模型的先验规范。

Abstract

While the choice of prior is one of the most critical parts of the Bayesian inference workflow, recent bayesian deep learning models have often fallen back on vague priors, such as standard Gaussians. In this rev

bayesian inference bayesian deep learning priors gaussian processes neural networks

发现论文，激发创造

贝叶斯深度学习只需要一个好的函数先验

本文为解决 Bayesian 深度学习中的先验分布选择困难性问题，提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架，该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样，从而显著提高了性能。

Nov, 2020

深度先验

本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性，结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。

Dec, 2017

深度贝叶斯模型的改进变分推理

深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。

Jan, 2024

深度图像先验的贝叶斯视角

本文介绍了自然图像的一种先验算法 —— 深度图像先验，它使用卷积神经网络对随机输入进行输出，通过使用梯度下降来调整网络参数以使输出匹配观测值。该方法在一系列图像重建任务中表现良好。同时通过推导得出结论，该算法渐近等于一个平稳的高斯过程，这启发了贝叶斯推断的方法。通过使用随机梯度 Langevin 对后验推断实现去除过早终止的需要，并在去噪和修补任务中提高了结果表现。我们在一些一维和二维信号重建任务中验证了这些算法的实用价值。

Apr, 2019

单元级别贝叶斯神经网络中先验的理解

研究了使用 Gaussian weight prior 和一类 ReLU 类非线性函数的深度贝叶斯神经网络形成的单位激活层级的先验分布随层级深度加深而变得更重尾的正则化效应。

Oct, 2018

基于自然聚类先验的深度学习理解

该研究通过对深度神经网络的训练动态、神经元和层级表示的广泛实证研究，尝试辨别深度学习系统中隐含的聚类能力、机制和超参数，评估它们对解释这些系统的泛化能力的相关性，从而阐述了先验知识在机器学习设计中的重要性。

Mar, 2022

深度权重先验

本文提出了深度权重先验（DWP）作为深度卷积神经网络的新型先验分布。DWP 利用生成模型来鼓励已训练卷积滤波器的特定结构，例如权重之间的空间相关性。作者提出了一种变分推断方法来处理这种隐式先验分布，并通过实验证明，当训练数据有限时，使用 DWP 可以改进贝叶斯神经网络的性能，使用 DWP 样本初始化权重也可以加速传统卷积神经网络的训练。

Oct, 2018

贝叶斯神经网络先验再审视

本研究研究使用随机梯度下降算法训练的神经网络的权重统计数据，发现卷积神经网络和 ResNet 的权重显示出强烈的空间相关性，而全连接网络则显示出重尾的权重分布，根据这些观察得出更好的先验可以提高对各种图像分类数据集的性能。

Feb, 2021

预测复杂度先验

本文提出了一种基于预测复杂度的贝叶斯先验方法，以应对神经网络等复杂模型中参数推理的挑战；在高维回归、神经网络深度和少样本学习等领域得到应用。

Jun, 2020

贝叶斯深度学习的案例

贝叶斯方法在深度神经网络中应用广泛，因为它通过边缘化取代优化，能够提高模型的校准性和准确性，并利用神经网络结构中的先验偏好来帮助泛化。此外，最近的贝叶斯深度学习实践进展也提高了模型的准确性、校准性和可伸缩性。

Jan, 2020