ICMLJul, 2021

贝叶斯神经网络在区别领域之外的检测上固有优势吗？

PDF
TL;DR本研究探讨了利用简单神经网络结构进行贝叶斯推断用于 out-of-distribution 检测的做法的有限性，发现在使用有限宽度网络时，贝叶斯神经网络不能有效地检测 out-of-distribution 数据。
out-of-distribution detectionbayesian neural networksapproximate inferencegaussian processfinite-width networks
发现论文，激发创造
  • 近似后验推断对贝叶斯深度学习在对抗和越界设置中的影响

    本研究旨在探索深度学习模型的不确定性量化方法，并考虑基于贝叶斯推理的模型在 OoD 检测中的表现，结果显示在某些情况下，这种模型略高于传统的深度神经网络，对于对新输入的敏感性的原因进行研究，并对对抗噪声鲁棒性的影响进行了研究。

    Sep, 2020

  • Model2Detector：使用少量梯度步骤拓宽信息瓶颈以进行外部分布检测

    通过信息论角度分析，本文提出一种将训练好的神经网络转换为 ODD 检测器的方法，该方法使用少量梯度下降步骤，且在流行的图像数据集上准确性优于现有方法，并且减少了计算复杂度。

    Feb, 2022

  • 分类器中的数据分布外检测 via 生成

    本文中，我们通过研究生成 “有效” 的 OOD 样本的复杂性，分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络（例如变分自编码器）生成这些样本的新算法，然后训练一个 $n+1$ 分类器来检测 OOD，其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较，实验表明我们的方法总体上表现更好。

    Oct, 2019

  • 贝叶斯不确定性估计在离域物体检测中的应用

    基于预训练网络的提出高斯分布，通过权重参数抽样区分正常数据和超出分布的数据，证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练，并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19％和增加 AUROC 分数最多 13.94％来实现了令人满意的超出分布的辨别性能。

    Oct, 2023

  • 基于贝叶斯变分自编码器的无监督异常检测

    为了解决深度神经网络在面对训练数据分布不同的测试数据时可能会出现的不可靠预测问题，我们提出基于贝叶斯变分自编码器模型的概率无监督方法，以此来检测输入空间和模型潜在空间中的群集分布异常。

    Dec, 2019

  • 批量集合随机神经网络用于产生外部分布检测

    本文提出了一种利用特征分布建模的不确定性量化方法，并进一步结合高效的集成机制 —— 批量集成随机神经网络（BE-SNNs）来克服特征折叠问题，经过多个 OOD 基准测试，证明 BE-SNNs 在许多方面优于其他现有的方法。

    Jun, 2022

  • 可证明鲁棒性的无需付出昂贵代价的异常检测

    研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

    Jun, 2021

  • 证明对抗性强鲁棒性的越界数据检测

    本文旨在通过使用区间界传播 (IBP) 来确保拥有可证明的最坏情况保证 (out-of-distribution detection)，该技术不仅在 OOD 点处实现低置信度，还在一个 l∞球的周围实现低置信度。实验结果表明，相比于认证对抗性鲁棒性，最坏情况 OOD 检测的认证保证是可以在不损失太多精度的情况下实现的。

    Jul, 2020

  • 针对超出分布检测的可证明保障

    本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

    Dec, 2021

  • 通过附件捕捉更多的不确定性来进行贝叶斯推理

    基于贝叶斯神经网络的附加结构（ABNN）用于从新颖数据中提取不确定性，通过集成来自内部和外部数据的不确定性来改善性能，并通过理论分析和实验证实其优越性。

    Oct, 2023