非监督异常检测的非线性不变量学习

ECCVJul, 2024

非监督异常检测的非线性不变量学习

Learning Non-Linear Invariants for Unsupervised Out-of-Distribution Detection

Lars Doorenbos, Raphael Sznitman, Pablo Márquez-Neila

TL;DR深度学习模型无法处理来自未见过分布的数据的能力引发了对无监督离群检测（U-OOD）的广泛关注，对可靠的深度学习模型至关重要。尽管引起了相当大的关注，但基于理论的方法却很少，大多数方法是在某种启发式方法的基础上构建的。最近，U-OOD 在数据不变量的背景下得到了形式化，从而更清晰地理解了如何表征 U-OOD，并且利用仿射不变量的方法在大规模基准测试中取得了最先进的结果。然而，对仿射不变量的限制阻碍了方法的表达能力。在这项工作中，我们将仿射不变量的公式扩展到更一般的情况，并提出了一个由类似于归一化流的架构组成的框架，能够学习非线性不变量。我们的新方法在大规模的 U-OOD 基准测试中取得了最先进的结果，并且我们证明了它在表格数据上的进一步适用性。最后，我们展示了我们的方法具有与基于仿射不变量的方法相同的理想特性。

Abstract

The inability of deep learning models to handle data drawn from unseen distributions has sparked much interest in unsupervised out-of-distribution (U-OOD) detection, as it is crucial for reliable →

unsupervised out-of-distribution deep learning models u-ood detection affine invariants normalizing flow-like architecture

发现论文，激发创造

了解无人监督的超出分布检测的数据不变量

该研究通过对不同基准和图像模态的大规模评估，表明目前最流行的无监督离群检测方法无法一致地优于基于预训练特征和 Mahalanobis 距离的简单异常检测器，并基于对训练数据集中的不变性的表征提出了一个无监督离群检测的特征描述，该特征被运用在 MahaAD 方法中，解释了其质量，并能用于解释无监督离群检测器的预测并提供未来评估的见解。

Nov, 2021

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

梯度正则化的离群样本检测

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

神经网络的鲁棒性外部分布检测

本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

Mar, 2020

为何归一化流无法检测到超出分布范围的数据

本文探讨了正则化流在检测异常数据方面的性能问题，发现正则化流架构具有局部像素相关性和通用图像到潜空间转换的缺陷，并通过修改它的架构，使其更好地适应特定数据语义结构，进而提高检测性能。

Jun, 2020

针对超出分布检测的可证明保障

本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

Dec, 2021

通过白化线性判别分析进行深度神经网络未知数据检测

本研究提出了一种新的特征空间离群点检测算法，使用去白线性判别分析将特征投影到判别子空间和残差子空间中，并结合两个子空间中输入数据与内部分布偏差的大小确定离群点得分，证明了该算法在大规模数据集上的优越性及其对深度分类器的有效性，并在具有对比目标训练的表示空间中更有效地检测新概念。

Mar, 2023

GOOD-D: 无监督图形外分布检测

本研究旨在通过无监督学习的方式，利用图像对 OOD 图像进行检测，提出了一种基于对比学习的 GOOD-D 图像对比学习框架，并使用基于层级对比学习的方法捕捉潜在的 ID 模式，能够在不使用任何 ground truth 标签的情况下准确检测 OOD graphs，并建立了一个综合基准来比较我们的提出的方法和不同的最先进的方法，实验结果证明了我们方法的卓越性。

Nov, 2022

基于归一化流的特征密度估计用于异常检测

基于特征密度估计和正态流的无监督型外分布检测方法可应用于任意预训练模型，通过密度阈值实现检测，并在图像分类中表现出强大的远外分布数据检测结果，包括 ImageNet-1k 与纹理的 98.2% AUROC，超过现有技术 7.8%。我们还探讨了预训练模型的特征空间分布与我们方法性能之间的关联，并提供了应用正态流用于外分布检测时的训练陷阱。

Feb, 2024