Feb, 2023

非监督式评估未知分布检测：一种数据为中心的观点

PDF
TL;DR本文是关于检测外域异常的无监督评估问题，提出了三种方法计算 Gscore 作为指标，并且引入包含 200 个真实外域数据集的新基准 Gbench 用于评估。实验结果表明，Gscore 与异常检测性能有很强的定量相关性，并且本文方法表现出了最先进的性能。
out-of-distribution detectionunsupervised evaluationgscorereal-world changing environmentsstate-of-the-art performance
发现论文，激发创造
  • OpenOOD: 广义越界检测基准测试

    本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

    Oct, 2022

  • 语义一致的异常检测

    通过对抗高水平的对抗攻击在半先验条件下训练生成对抗网络来提高生成数据的多样性和质量。

    Aug, 2021

  • 持续无监督的外部分布检测

    不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

    Jun, 2024

  • GOOD-D: 无监督图形外分布检测

    本研究旨在通过无监督学习的方式，利用图像对 OOD 图像进行检测，提出了一种基于对比学习的 GOOD-D 图像对比学习框架，并使用基于层级对比学习的方法捕捉潜在的 ID 模式，能够在不使用任何 ground truth 标签的情况下准确检测 OOD graphs，并建立了一个综合基准来比较我们的提出的方法和不同的最先进的方法，实验结果证明了我们方法的卓越性。

    Nov, 2022

  • 面向文本 OOD 检测的无监督分层得分聚合

    本研究探讨了对于文本异常检测，如何选择最佳层数进行计算，提出了一种数据驱动无监督方法来组合常常输出的异常得分，并在包含更多分类任务的基准测试中验证结果。

    Feb, 2023

  • OpenOOD v1.5: 增强版的 Out-of-Distribution 检测基准

    本研究介绍了 OpenOOD v1.5，它是 OpenOOD v1 的显著改进，旨在确保精确、标准化和用户友好的 Out-of-Distribution 检测方法评估。OpenOOD v1.5 将其评估能力扩展到大规模数据集，研究全谱 Out-of-Distribution 检测，并引入了在线排行榜和易于使用的评估器等新功能，从而为 OOD 检测研究提供更加稳健和全面的评估基准。

    Jun, 2023

  • 基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

    本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

    Jun, 2022

  • 针对超出分布检测的可证明保障

    本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

    Dec, 2021

  • 了解无人监督的超出分布检测的数据不变量

    该研究通过对不同基准和图像模态的大规模评估，表明目前最流行的无监督离群检测方法无法一致地优于基于预训练特征和 Mahalanobis 距离的简单异常检测器，并基于对训练数据集中的不变性的表征提出了一个无监督离群检测的特征描述，该特征被运用在 MahaAD 方法中，解释了其质量，并能用于解释无监督离群检测器的预测并提供未来评估的见解。

    Nov, 2021

  • 统一无监督图级异常检测和样本外检测：一个基准

    构建安全可靠的图机器学习系统，无监督的图级异常检测和无监督的图级离群检测在近年来受到了重视。为了弥合这两个研究方向之间的鸿沟，我们提出了一个统一的基准，将图级异常检测和图级离群检测统一到广义图级离群检测的概念下，并提供了一个包含 35 个数据集的综合评估框架，为 16 种代表性的无监督图级异常和离群检测方法的比较提供了便利。我们进行了多维分析，探索现有方法的有效性、泛化能力、鲁棒性和效率，并基于我们的见解提供了开源代码库，以促进可重复性研究，并概述了未来研究的潜在方向。

    Jun, 2024