生成后验网络用于近似贝叶斯认知不确定性估计

Dec, 2023

生成后验网络用于近似贝叶斯认知不确定性估计

Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation

Melrose Roderick, Felix Berkenkamp, Fatemeh Sheikholeslami, Zico Kolter

TL;DR生成后验网络（GPN）是一种新方法，利用未标记的数据来估计高维问题中的认识不确定性。它是一种生成模型，通过对网络进行正则化以从先验中采样，直接逼近后验分布。理论上证明我们的方法确实逼近了贝叶斯后验，并且实验证明它在比较方法上改进了认识不确定性估计和可扩展性。

Abstract

In many real-world problems, there is a limited set of training data, but an abundance of unlabeled data. We propose a new method, Generative Posterior Networks (GPNs), that uses unlabeled data to estimate epistemic uncertainty in →

generative posterior networks epistemic uncertainty high-dimensional problems prior distribution bayesian posterior

发现论文，激发创造

高斯过程网络的贝叶斯方法

本文研究高斯过程网络 (GPNs) 的贝叶斯结构学习问题，提出基于蒙特卡罗和马尔可夫链蒙特卡罗方法的网络结构后验分布抽样算法，并在模拟实验中证明该方法在恢复网络图形结构和提供准确后验分布方面优于现有算法。

Jun, 2023

图后验网络：基于贝叶斯的节点分类预测不确定性

本研究探讨了图中非独立节点预测的不确定性量化方法，并提出了一种名为图后验网络（GPN）的新模型，该模型采用贝叶斯后验更新技术并在节点分类中表现出优越性能。

Oct, 2021

GSNs：生成随机网络

提出了一种新的基于马尔科夫链的生成随机网络（GSN）框架作为概率模型的训练原则，并通过具有反向传播的梯度来学习该链的转移算子，该理论提供了关于依赖网络和广义伪似然的有趣解释，试验结果验证了该理论在两个图像数据集中的有效性，并且在训练时不需要层次预训练。

Mar, 2015

用于图神经网络的准确可扩展的认知不确定性估计

我们提出了 G-DeltaUQ，这是一个新的训练框架，旨在改进图神经网络的内在不确定性估计，通过独特的图锚定策略适应图数据，从而在节点和图分类中实现更好的标定准确度。

Jan, 2024

高斯过程网络中的贝叶斯因果推断

在高斯过程网络（GPN）模型中进行贝叶斯估计来推断多步骤干预效应，通过模拟整个网络中干预的影响并传播到下游变量，以及使用高斯过程建模条件分布来估计干预分布，进一步考虑到因果结构不确定性。结果表明，该方法能够识别非高斯、非线性的观测数据中假设干预的效果，并准确反映因果估计的后验不确定性。

Feb, 2024

基于反向传播训练的深度生成随机网络

该论文提出了一种新的概率模型训练原则 —— 基于学习马尔可夫链的转移算子，其稳态分布估计数据分布，并能采样出变量的子集。我们提供了一些定理以证明该方法的有效性，该方法也能适用于带有缺失变量的情况，并且不需要分层逐层预训练。

Jun, 2013

后验网络：基于密度伪计数的无需 OOD 样本的不确定性估计

本文提出了一种基于 Posterior Network 的方法，该方法使用 Normalizing Flows 预测任何输入样本的概率预测的闭合后验分布，可以精确地反映入内和外分布数据的不确定性，无需在训练时访问 OOD 数据，实现了最先进的 OOD 检测结果和数据集迁移下的不确定性校准。

Jun, 2020

数据稀缺条件下的图挖掘

我们的研究提出了一个不确定性估计框架，可应用于任何泛化图神经网络（GNN）的基础网络上，以提高节点分类性能。该不确定性估计器模型是一个神经网络，将不确定性建模为概率分布而非离散的概率标量值。通过在 $n$ 路 $k$ 样本方式下进行训练，我们的方法在少样本学习设置中提高了分类准确率，而无需特定的元学习架构。在多个数据集和不同 GNN 基础网络上进行的实验证明了不确定性估计器对于带有 GNN 的少样本节点分类的有效性。

Jun, 2024

利用先验网络进行预测不确定性估计

该研究提出了一种名为 Prior Networks（PNs）的框架来模型化分类任务中的数据和分布不确定性，并在 MNIST 数据集上实现了对 OOD 样本的识别和误分类的检测，与之前的方法相比，PNs 具有更好的表现。

Feb, 2018

神经网络中学习表达先验的方法用于泛化和不确定性估计

本文提出了一种基于先验学习的新方法，用于提高深度神经网络的泛化和不确定性估计，该方法利用可伸缩和结构化的神经网络后验作为具有泛化保证的信息先验。我们的学习先验在大规模上提供了具有表现力的概率表征，可以看作是在 ImageNet 上预训练模型的贝叶斯对应物，并进一步产生非平凡的泛化界限。我们还将这个想法扩展到了一个连续学习的框架中，其中我们的先验的有利特性是可取的。我们的技术贡献是（1）Kronecker 积分和求和计算，以及（2）导出和优化可追踪的目标，从而导致改进的泛化边界。从实证上来说，我们详尽地展示了这种方法用于不确定性估计和泛化的有效性。

Jul, 2023