证明对抗性强鲁棒性的越界数据检测

Jul, 2020

证明对抗性强鲁棒性的越界数据检测

Certifiably Adversarially Robust Detection of Out-of-Distribution Data

Julian Bitterwolf, Alexander Meinke, Matthias Hein

TL;DR本文旨在通过使用区间界传播 (IBP) 来确保拥有可证明的最坏情况保证 (out-of-distribution detection)，该技术不仅在 OOD 点处实现低置信度，还在一个 l∞球的周围实现低置信度。实验结果表明，相比于认证对抗性鲁棒性，最坏情况 OOD 检测的认证保证是可以在不损失太多精度的情况下实现的。

Abstract

deep neural networks are known to be overconfident when applied to out-of-distribution (OOD) inputs which clearly do not belong to any class. This is a problem in safety-critical applications since a reliable assessment of the uncertainty of a classifier is a key property, allowing the

deep neural networks out-of-distribution inputs certifiable worst case guarantees interval bound propagation ood data generalization

发现论文，激发创造

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

扩散去噪平滑在认证和对抗鲁棒的 ODD 检测中的应用

研究机器学习中如何确定训练分布和 ODD（Out-Of-Distribution）样本的检测机制，提出了一种基于 l2 范数的无需特定组件或训练的 ODD 鲁棒性证明的新方法以及改进了检测 ODD 攻击技巧的现有技术，在 CIFAR10 / 100 平均 OOD 检测度量方面相对于之前的方法有约 13％/ 5％的提高，并在分布内样本上提供高水平的认证和敌对鲁棒性。

Mar, 2023

神经网络的鲁棒性外部分布检测

本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

Mar, 2020

朝着外部分布检测的现实基准

深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

Apr, 2024

离群数据：对抗样本的熟悉 —— 综述

深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

Apr, 2024

针对超出分布检测的可证明保障

本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

Dec, 2021

基于不确定性的深度增强学习外分布分类

提出基于不确定性的 Out-of-Distribution 分类框架（UBOOD），通过利用智能体价值函数的认知不确定性，结合不同的不确定性估计方法进行分类，包括具体的负值 dropout 方法或集成方法，并采用训练数据的不确定性分布计算动态分类阈值，实现对深度 RL 中的 Out-of-Distribution 数据的可靠检测。

Dec, 2019

基于置信度的越界检测：一项比较研究与分析

通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力，并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力，结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性，因此为开发下一代 OOD 检测方法提供了有用的见解。

Jul, 2021

贝叶斯不确定性估计在离域物体检测中的应用

基于预训练网络的提出高斯分布，通过权重参数抽样区分正常数据和超出分布的数据，证明我们的贝叶斯目标检测器在 BDD100k 和 VOC 数据集上的训练，并在 COCO2017 数据集上的评估中通过降低 FPR95 分数最多 8.19％和增加 AUROC 分数最多 13.94％来实现了令人满意的超出分布的辨别性能。

Oct, 2023

通过捕捉极端激活来减轻对于外部分布检测中的过度自信

通过测量神经网络次最后一层的极端激活值并利用这一特征改进各种 OOD 检测基线，我们解决了模型 “过度自信” 现象造成的 OOD 检测问题，在各类实验中得到了显著提升，不损害任何场景的性能。

May, 2024