基于假设驱动的深度学习进行外部分布检测

Mar, 2024

基于假设驱动的深度学习进行外部分布检测

Hypothesis-Driven Deep Learning for Out of Distribution Detection

Yasith Jayawardana, Azeem Ahmad, Balpreet S. Ahluwalia, Rafi Ahmad, Sampath Jayarathna...

TL;DR我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围，在黑盒系统中，通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应，并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型，用以检测未知的细菌样本，并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。

Abstract

Predictions of opaque black-box systems are frequently deployed in high-stakes applications such as healthcare. For such applications, it is crucial to assess how models handle samples beyond the domain of training data. While several metrics and tests exist to detect out-of-distributi

opaque black-box systems out-of-distribution (ood) data deep neural network (dnn)hypothesis-driven approach novelty detection

发现论文，激发创造

朝着外部分布检测的现实基准

深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

Apr, 2024

一种新颖的可解释的脉冲神经网络溯源检测方法

本文提出了一种新型的 OoD 检测器，采用脉冲数模式来表征神经网络中隐藏层的内部激活，以检测输入实例是否属于训练数据的分布，其性能与相关方案相比具有竞争力，并且能够生成符合预期的相关性说明图。

Sep, 2022

分类器中的数据分布外检测 via 生成

本文中，我们通过研究生成 “有效” 的 OOD 样本的复杂性，分析了调整之前的方法的可行性。我们提出了一种使用流形学习网络（例如变分自编码器）生成这些样本的新算法，然后训练一个 $n+1$ 分类器来检测 OOD，其中第 $n+1$ 类代表 OOD 样本。我们在 MNIST 和 Fashion-MNIST 数据集上将我们的方法与几种最近的基于分类器的 OOD 检测器进行了比较，实验表明我们的方法总体上表现更好。

Oct, 2019

通用 ODIN: 无需在外部数据集中学习即可检测出分布外图像

本篇论文提出了两种方法，用于加强 ODIN 检测方法在不需经过 out-of-distribution 数据训练或调整的情况下的性能表现，这两种方法包括对置信度打分的分解以及对输入数据的改进预处理。文章还对两种分布偏移（语义偏移和非语义偏移）的问题上，展开了深入细致的分析。

Feb, 2020

医疗领域的离群样本检测基准测试

本文定义三类 Out-of-Distribution Detection 的示例，并在医学图像的三个领域中对常见的方法进行基准测试。结果表明，尽管这些方法对某些类别的 OOB 样本产生良好结果，但它们未能识别接近训练数据分布的图像，作者发现简单的二元分类器在特征表示上具有最佳的平均精度和 AUPRC。

Jul, 2020

Model2Detector：使用少量梯度步骤拓宽信息瓶颈以进行外部分布检测

通过信息论角度分析，本文提出一种将训练好的神经网络转换为 ODD 检测器的方法，该方法使用少量梯度下降步骤，且在流行的图像数据集上准确性优于现有方法，并且减少了计算复杂度。

Feb, 2022

语义分割中的 OOD 检测的熵最大化和元分类

本研究提出了一种改进基于像素 softmax 熵的方法的两步流程，通过引入第二个训练目标，最大化对不同数据集的 softmax 熵，并利用手工创造的 Metric 从 softmax 概率得出透明的后处理步骤来降低误检率，从而提高深度神经网络的 OoD 检测性能。

Dec, 2020

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

OoD-Bench: 量化和理解外分布泛化的两个维度

通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

Jun, 2021

关于解决离分布检测评估方案中的随机性的问题

本研究针对 Deep Neural Networks 对于训练集以外数据的表现会出现不可预测情况，提出 out-of-distribution detection 机制，并通过 Monte Carlo 方法推测性能，指出当前的 evaluation protocols 可能无法可靠估计 OOD 方法的预期表现。

Mar, 2022