本文为解决 Bayesian 深度学习中的先验分布选择困难性问题,提出了一种基于 Gaussian processes 的新颖的功能先验分布匹配框架,该框架可通过 Markov chain Monte Carlo 方法进行可扩展的先验分布采样,从而显著提高了性能。
Nov, 2020
该综述强调了先验选择对贝叶斯深度学习的重要性,并概述了各种先验方法及利用数据进行先验学习方法,以期激励实践者们更加谨慎地思考其模型的先验规范。
May, 2021
文章探讨了一种在预测空间中采用 Dirichlet 先验和进行近似函数空间变分推理的方法,通过该方法,可以将相同的函数空间先验合并到不同的模型中,提高可扩展性,改进不确定性量化和敌对抗性。
Jul, 2023
本文介绍了一种基于内在嵌套结构的新型先验分布构建方法,可以作为默认先验分布,通过设定用户定义的缩放参数,对于数据的复杂度问题得到处理和惩罚。
Mar, 2014
本文介绍了一种基于贝叶斯方法的神经网络先验分布,该分布使用潜在变量来表示网络中的单元,并以这些变量的值为条件抽取单元之间的权重。这种先验分布具有强大的相关性,可以作为一个基于函数的先验分布,有助于实现 Bayesian 正则化以实现简单结构的网络模型。
Oct, 2018
本文介绍了一种名为 ridgelet 先验的正态分布方法,用以在贝叶斯神经网络中为参数施加有意义的先验分布,解决了该网络输出空间中的不确定性量化问题,并证明了 Bayesian 神经网络可以近似于某些正态分布,同时提供了有限样本大小错误界,证明了其普适性和适用性。
Oct, 2020
本文提出了一种基于先验学习的新方法,用于提高深度神经网络的泛化和不确定性估计,该方法利用可伸缩和结构化的神经网络后验作为具有泛化保证的信息先验。我们的学习先验在大规模上提供了具有表现力的概率表征,可以看作是在 ImageNet 上预训练模型的贝叶斯对应物,并进一步产生非平凡的泛化界限。我们还将这个想法扩展到了一个连续学习的框架中,其中我们的先验的有利特性是可取的。我们的技术贡献是(1)Kronecker 积分和求和计算,以及(2)导出和优化可追踪的目标,从而导致改进的泛化边界。从实证上来说,我们详尽地展示了这种方法用于不确定性估计和泛化的有效性。
本研究探讨使用深度学习工具学习神经网络参数先验分布的可能性,结果表明此方法的变分贝叶斯算法具有很好的泛化能力且可以在元数据集上正确推断出周期信号的泛化结果。
Dec, 2017
在这篇论文中,我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法,该方法明确地将贝叶斯推断应用于神经网络,并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能,并证明其在安全关键的医学诊断任务中表现出色。
Dec, 2023
提出噪声对比先验 (NCPs) 方法,用于输出各数据点之高可信度,防止模型在训练分布以外的输入上过度拟合,并且通过主动学习产生可靠的不确定度估计。
Jul, 2018