近似后验推断对贝叶斯深度学习在对抗和越界设置中的影响

ECCVSep, 2020

近似后验推断对贝叶斯深度学习在对抗和越界设置中的影响

Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings

PDF

John Mitros, Arjun Pakrashi, Brian Mac Namee

TL;DR本研究旨在探索深度学习模型的不确定性量化方法，并考虑基于贝叶斯推理的模型在 OoD 检测中的表现，结果显示在某些情况下，这种模型略高于传统的深度神经网络，对于对新输入的敏感性的原因进行研究，并对对抗噪声鲁棒性的影响进行了研究。

Abstract

deep neural networks have been successful in diverse discriminative classification tasks, although, they are poorly calibrated often assigning high probability to misclassified predictions. Potential consequences could lead to trustworthiness and accountability of the models when deplo

deep neural networks bayesian inference out of distribution detection uncertainty quantification adversarial noise resistance

发现论文，激发创造

贝叶斯神经网络在区别领域之外的检测上固有优势吗？

本研究探讨了利用简单神经网络结构进行贝叶斯推断用于 out-of-distribution 检测的做法的有限性，发现在使用有限宽度网络时，贝叶斯神经网络不能有效地检测 out-of-distribution 数据。

Jul, 2021

深度特征概率建模用于外样本和对抗性检测

本文提出了一种基于深度神经网络的参数概率分布模型来检测分布外和对抗性样本的方法，并探讨了高精度建模特征分布所带来的实际增益。

Sep, 2019

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

基于假设驱动的深度学习进行外部分布检测

我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围，在黑盒系统中，通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应，并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型，用以检测未知的细菌样本，并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。

Mar, 2024

Model2Detector：使用少量梯度步骤拓宽信息瓶颈以进行外部分布检测

通过信息论角度分析，本文提出一种将训练好的神经网络转换为 ODD 检测器的方法，该方法使用少量梯度下降步骤，且在流行的图像数据集上准确性优于现有方法，并且减少了计算复杂度。

Feb, 2022

证明对抗性强鲁棒性的越界数据检测

本文旨在通过使用区间界传播 (IBP) 来确保拥有可证明的最坏情况保证 (out-of-distribution detection)，该技术不仅在 OOD 点处实现低置信度，还在一个 l∞球的周围实现低置信度。实验结果表明，相比于认证对抗性鲁棒性，最坏情况 OOD 检测的认证保证是可以在不损失太多精度的情况下实现的。

Jul, 2020

神经网络的错误分布检测中学习置信度

通过提出一种简单易实现、产生直观可解释输出的神经网络置信度学习方法，我们成功地实现了对神经网络预测错误的检测以及超出安全执行区域的检测，在该任务中表现优异，并在不需要额外标签或进入区别于正常数据集之外的样本的情况下超过了最近提出的指标构建方法。此外，我们还解决了置信度检测器校准问题，即我们证明被错误分类为正常数据集的正常样本是超出安全执行区域的样本的良好替代品。

Feb, 2018

通过任务感知的生成性不确定性实现对于超出分布输入的鲁棒性

本文提出了一种结合生成模型和模型不确定性的不确定性感知机器人感知方法，用于处理源自超出分布状态的不确定性。

Dec, 2018

贝叶斯不确定性估计在离域物体检测中的应用

基于预训练网络的提出高斯分布，通过权重参数抽样区分正常数据和超出分布的数据，证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练，并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19％和增加 AUROC 分数最多 13.94％来实现了令人满意的超出分布的辨别性能。

Oct, 2023

基于贝叶斯变分自编码器的无监督异常检测

为了解决深度神经网络在面对训练数据分布不同的测试数据时可能会出现的不可靠预测问题，我们提出基于贝叶斯变分自编码器模型的概率无监督方法，以此来检测输入空间和模型潜在空间中的群集分布异常。

Dec, 2019