Sep, 2020

COPOD: 基于 Copula 的离群值检测

PDF
TL;DR本文提出了一种名为 COPOD 的新颖异常检测算法，它受到 copulas 建模多变量数据分布的启发，这使得它既不需要参数，可解释性又高，且计算效率高，通过对 30 个基准数据集的广泛实验表明，它在大多数情况下表现出色且是其中速度最快的算法，同时，我们还发布了易于使用的 Python 实现来实现结果的再现。
outlier detectioncopod algorithmcopulasparameter-freeinterpretability
发现论文，激发创造
  • 用于工业控制系统异常检测的双阶段双 COPOD 方法

    本文提出了一种基于 Copula 的二阶段异常检测方法，以解决传统方法在透明度、可解释性和性能等方面存在的挑战，并在三个开源的 ICS 数据集中进行了实验验证，表现出优异的检测性能和计算效率，适合于低和高维度数据集的实时 ICS 异常检测。

    Apr, 2023

  • ECOD: 使用经验累积分布函数进行无监督异常检测

    本文提出了一种简单且有效的异常检测算法 ECOD，它是一种无参估计方法，通过计算数据的经验累积分布函数估计数据的尾部概率，进而计算每个数据点的异常得分。通过在 30 个基准数据集上的实验验证，我们发现 ECOD 在准确性、效率和可扩展性等方面均优于其他 11 种现有的异常检测方法。同时，我们还提供了易于使用、可扩展的 Python 实现，以保证算法的可访问性和可重复性。

    Jan, 2022

  • 使用后验采样进行异常检测

    提出一种新颖的基于后验采样的异常值挖掘框架（POEM），促进了异常数据的有效使用，并提高了识别内部和外部数据之间紧凑决策边界的性能，相对于现有最佳方法，在 CIFAR-10 和 CIFAR-100 上的 FPR95 相对性能分别提高了 42.0％和 24.2％，并在理论上证明了 POEM 用于 OOD 检测的有效性。

    Jun, 2022

  • COOD: 大规模分层分类中使用多个测量值的组合型超出分布检测方法，用于异常和新类别的检测

    通过结合不同的出域检测 (OOD) 措施为一个组合出域检测 (COOD) 措施，本研究针对物种识别任务提出了一个能在大规模数据库中、大量的细粒度层级类别、严重的类别不均衡和不同图像质量下应用的框架。在大规模生物多样性数据集上对 COOD 进行了广泛评估，结果表明，在大多数实验中，COOD 在 TPR@1% FPR 方面的表现远优于单独的 OOD 措施，包括最先进的措施，例如，对于 iNaturalist 2018 数据集，COOD 将 ImageNet 图像（OOD）的检测率从 54.3% 提高到 85.4%。同时，研究还表明，不同的 OOD 措施对于各种任务都是必不可少的，因此需要多种 OOD 措施和组合以实现泛化。此外，作者还指出，明确考虑对于原始（物种）识别任务而言分类错误的 ID 图像对于构建高性能的 OOD 检测方法至关重要，并具有实际应用性。这个框架也可以轻松地扩展或适应到其他任务和媒体形式。

    Mar, 2024

  • 利用扩散先验进行外部分布检测

    利用扩散模型的生成能力和 CLIP 的强大特征提取能力，我们提出了一种新颖的 OOD 检测方法，通过使用这些特征作为扩散模型的条件输入，我们可以在使用 CLIP 进行编码后重建图像。原始图像与重建图像之间的差异被用作 OOD 识别的信号，我们的方法不需要类别特定的标记，提高了实用性和可扩展性，且经过多个基准数据集的广泛实验证明了我们方法的鲁棒性和有效性。

    Jun, 2024

  • 可解释的基于模式识别的场外检测

    该研究提出使用可解释 AI 领域的 PARTICUL 算法以构建更易解释、更具鲁棒性的视觉分类器的异常检测器，无需重新训练分类器，适用于缺乏明确定义的领域，并通过四个数据集和两个 OoD 定义的广泛基准测试证明了该方法的检测能力与现有方法相当，同时强调了分类器结构对鲁棒性的影响。

    Jan, 2023

  • 使用大型语言模型生成的同类对等生成器进行外部分布检测

    提出了一种名为 ODPC 的新方法，通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类，以便于检测，并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示，并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明，该方法可以得到最先进的结果。

    Mar, 2024

  • 基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

    本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

    Jun, 2022

  • SCOD: 从启发式到理论

    在存在外部样本时面临选择性分类问题的可靠预测模型的设计，我们提出了三个关键贡献。首先，我们证明最优的 SCOD 策略采用了贝叶斯分类器用于分布内数据和一个在二维空间表示为随机线性分类器的选择器，利用了分布内分类器的条件风险和分布内外数据的似然比作为输入，与当前的分布外检测方法和专门针对 SCOD 开发的 Softmax 信息保留组合（SIRC）方法的次优策略不同。其次，我们证明在一个无分布设置下，只依赖分布内数据样本时 SCOD 问题无法以近似正确学习。第三，我们引入了 POSCOD，一种简单的方法，从分布内数据样本和无标签的分布内外数据混合中学习最优 SCOD 策略的插件估计。我们的实证结果验证了理论发现，并证明我们提出的方法 POSCOD 在有效解决 SCOD 问题上优于现有的分布外方法。

    Mar, 2024

  • PixOOD：像素级异常检测

    我们提出了一种名为 PixOOD 的密集图像预测的离群检测算法，它不需要对异常数据样本进行训练，也不针对特定应用程序，避免了传统训练偏差。我们提出了一种在线数据压缩算法，用于在像素级别建模类内数据的复杂内部类变异性，该算法比标准 K-means 更强大，通过随机梯度下降（SGD）更容易训练。我们在多个问题上对 PixOOD 进行了评估，它在七个数据集中的四个上取得了最先进的结果，并在其余数据集上具有竞争力。源代码可在此 URL 处获得

    May, 2024