Jun, 2021

改进 Mahalanobis 距离以提高近 OOD 检测的简单修复

PDF
TL;DR研究提出一种名为相对马氏距离（Relative Mahalanobis Distance）的改进方法，相对于原有的 Mahalanobis 距离，在检测神经网络模型中的近似样本（Near-OOD Detection）和超参数选择上表现更好，该方法在多种困难视觉、语言和生物学场景中实现了显著的定位比率（AUROC）提升，特别是在基因组学中，提高了高达 15% 的 AUROC。
mahalanobis distanceout-of-distribution detectionneural networksrelative mahalanobis distancehyperparameter
发现论文，激发创造
  • 使用马氏距离的神经网络在医学影像中用于外部数据检测

    通过使用合成物件来模拟 OOD 模式，本文展示了应用马氏距离的最佳层取决于 OOD 模式的类型，没有一种一刀切的解决方案。本文还表明将 OOD 检测器分为网络的不同深度可以增强对不同 OOD 模式的鲁棒性。这些结果对于使用马氏距离进行 OOD 检测的最佳实践具有启发作用。

    Sep, 2023

  • 马哈拉诺比斯距离在异常检测中为什么有效？

    分析了基于马氏距离的置信分数方法的性能表现，发现其表现卓越的原因并非在于分类预测置信度，而在于其利用了不同于 ODIN 方法的有用信息。结合这两种方法可提高检测器的性能和鲁棒性。

    Mar, 2020

  • 马哈拉诺比斯感知训练用于外部分布检测

    在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

    Nov, 2023

  • 深度最近邻实现的超范围检测

    本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

    Apr, 2022

  • 基于马氏距离的非监督式外部方言检测

    我们提出了一个简单而有效的无监督马氏距离特征方法，在流行的 wav2vec 2.0 变换器式方言分类器模型的所有中间层的潜在嵌入上进行多任务学习，用于检测超出分布的样本，并在 OOD 检测方法方面显著优于其他最先进的方法。

    Aug, 2023

  • 了解无人监督的超出分布检测的数据不变量

    该研究通过对不同基准和图像模态的大规模评估，表明目前最流行的无监督离群检测方法无法一致地优于基于预训练特征和 Mahalanobis 距离的简单异常检测器，并基于对训练数据集中的不变性的表征提出了一个无监督离群检测的特征描述，该特征被运用在 MahaAD 方法中，解释了其质量，并能用于解释无监督离群检测器的预测并提供未来评估的见解。

    Nov, 2021

  • 利用比例不变马氏距离在航空图像中进行旋转目标检测

    本文讨论如何在旋转的航拍图像中高效地检测目标物体。我们针对传统八参数方法中使用的非比例损失函数（L1，L2 和平滑 L1）与检测度量旋转交集联合（IoU）的不稳定性，提出了一种新的基于马氏距离的损失函数，称之为马氏距离损失（MDL）。我们的实验结果表明，与传统的平滑 L1（smooth L1）损失相比，使用 MDL 在旋转目标检测方面表现更加优异。

    Apr, 2022

  • 跨数据集 OOD 检测方法的不一致性：缺乏真正的现有技术？

    本文研究了 out-of-distribution detection 的各种方法，发现这些方法在一个规范化的 16 个（ID, OOD）数据集组成的标准数据集上并没有本质上的优劣。而在低数据量环境下，Pairwise OOD detection 方法是一种基于 Siamese networks 的距离方法，可以绕过昂贵的协方差估计步骤，在某些（ID, OOD）数据集上表现比 Mahalanobis 方法更好。该研究认为 OOD 检测问题可能过于广泛，需要考虑更具体的结构来利用。

    Sep, 2021

  • 医学图像分割中维度降低以改善超出分布检测

    通过使用马氏距离后处理肝脏磁共振成像的 Swin UNETR 模型的瓶颈特征，通过主成分分析降低瓶颈特征的维度，高效且计算负载最小地检测到了分布外的图像。

    Aug, 2023

  • 持续无监督的外部分布检测

    不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

    Jun, 2024