合纵连横：关于数据转移和离群点检测的元分析

Jun, 2024

合纵连横：关于数据转移和离群点检测的元分析

Combine and Conquer: A Meta-Analysis on Data Shift and Out-of-Distribution Detection

Eduardo Dadalto, Florence Alberge, Pierre Duhamel, Pablo Piantanida

TL;DR本文介绍了一种将离群分布检测评分无缝组合的通用方法，通过量化正态化将这些评分转化为 p 值，将问题转化为多变量假设检验，并使用元分析工具组合这些检验，从而得到具有巩固决策边界的更有效的检测器。通过实证研究，我们探索了不同类型的数据偏移对于数据的不同影响程度，结果表明我们的方法在各种离群分布检测场景中显著提高了整体鲁棒性和性能。值得注意的是，我们的框架在未来的检测评分开发中易于扩展，并且是这个领域中首个结合决策边界的方法。

Abstract

This paper introduces a universal approach to seamlessly combine out-of-distribution (OOD) detection scores. These scores encompass a wide range of techniques that leverage the self-confidence of deep learning models and the anomalous behavior of features in the latent space. Not surpr

out-of-distribution detection deep learning models quantile normalization multi-variate hypothesis test ood detection scenarios

发现论文，激发创造

ImageNet-OOD: 解析现代异常检测算法

通过广泛的实验，我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感，并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。

Oct, 2023

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

重新思考外部分布检测的评估：索利斯悖论

本研究构建了一个名为 Incremental Shift OOD（IS-OOD）的基准，通过基于提出的语言对齐图像特征分解（LAID）的移位测量方法，将测试样本分成不同的子集，相对于 ID 数据集具有不同的语义和协变量移位程度，以解决当前存在的超出分布（OOD）检测基准中的 Sorites 悖论问题。此外，还构建了包含更多多样的协变量内容的高质量生成图像的 Synthetic Incremental Shift（Syn-IS）数据集，以补充 IS-OOD 基准。研究评估了在本基准上进行的当前 OOD 检测方法，并发现几个重要结论：（1）大多数 OOD 检测方法的性能随着语义移位的增加而显著提高；（2）某些方法如 GradNorm 在做出决策时较少依赖于语义移位，可能具有不同的 OOD 检测机制；（3）图像中过度的协变量移位也可能被某些方法视为 OOD。

Jun, 2024

一石二鸟：利用野外数据实现区分数据泛化和检测

本文提出了一种新的 margin-based learning 框架，该框架利用公开的未标记数据，在同时泛化到协变量移位的情况下，鲁棒地检测语义移位。

Jun, 2023

预料之外：广泛的场外检测

我们在广泛的 OOD 检测中发现现有方法的性能不一致，因此我们提出了一种基于高斯混合模型的集成方法，从而提供了一种更一致和全面的解决方案，相比现有方法表现出更优异的性能。

Aug, 2023

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

针对超出分布检测的可证明保障

本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

Dec, 2021

利用自监督排除分类器集合进行的外分布检测

本论文提出一种基于深度学习和分类器集成的方法，通过独特的基于边界的损失函数来可靠地检测出分布外数据，同时在超过一些 OOD 检测基准上明显优于现有算法。

Sep, 2018

统一的超领域检测：基于模型视角

本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等) 检测 out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的 OOD 检测。

Apr, 2023

OpenOOD: 广义越界检测基准测试

本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

Oct, 2022