Jun, 2024

重新思考外部分布检测的评估：索利斯悖论

PDF
TL;DR本研究构建了一个名为 Incremental Shift OOD（IS-OOD）的基准，通过基于提出的语言对齐图像特征分解（LAID）的移位测量方法，将测试样本分成不同的子集，相对于 ID 数据集具有不同的语义和协变量移位程度，以解决当前存在的超出分布（OOD）检测基准中的 Sorites 悖论问题。此外，还构建了包含更多多样的协变量内容的高质量生成图像的 Synthetic Incremental Shift（Syn-IS）数据集，以补充 IS-OOD 基准。研究评估了在本基准上进行的当前 OOD 检测方法，并发现几个重要结论：（1）大多数 OOD 检测方法的性能随着语义移位的增加而显著提高；（2）某些方法如 GradNorm 在做出决策时较少依赖于语义移位，可能具有不同的 OOD 检测机制；（3）图像中过度的协变量移位也可能被某些方法视为 OOD。
out-of-distribution detectionsorites paradoxdata divisionshift measuring methodood detection methods
发现论文，激发创造
  • ImageNet-OOD: 解析现代异常检测算法

    通过广泛的实验，我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感，并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。

    Oct, 2023

  • 语义一致的异常检测

    通过对抗高水平的对抗攻击在半先验条件下训练生成对抗网络来提高生成数据的多样性和质量。

    Aug, 2021

  • 全谱外部样本检测

    本文提出了一种全光谱 OOD 检测的新问题，并设计了三个基准以测试算法性能。针对这个问题，我们提出了一个简单的面向特征的 SEM 方法来检测语义转移，可以更好地处理 FS-OOD 检测，并且 SEM 明显优于当前最先进的方法。

    Apr, 2022

  • 朝着外部分布检测的现实基准

    深度神经网络在各种技术和服务中得到越来越广泛的应用，但其容易受到来自训练集不同分布的样本的干扰，而常见的解决方法是使深度神经网络具备检测这种样本的能力。本文提出了一种基于 ImageNet 和 Places365 的全面评估标准，根据与训练集的语义相似性，将个别类别分为内部分布和外部分布，通过不同的技术确定哪些类别应被视为内部分布，得到具备不同性质的评估标准。不同的 ODD 检测技术在不同的评估标准下的实验结果表明，它们的有效性取决于所选择的评估标准，而基于置信度的技术在接近 ODD 样本上可能优于基于分类器的技术。

    Apr, 2024

  • 全谱外部分布检测的似然感知语义对齐

    提出一种称为 Likelihood-Aware Semantic Alignment（LSA）的框架，以促进图像和文本的对应关系，针对全谱带外分布检测进行语义相关性的调整，并在复杂的领域转换中适应性地识别有正常分布的样本。

    Dec, 2023

  • In or Out? 修正 ImageNet 数据集的识别准确度

    提出一种新的测试集 NINCO 以及相应的合成 OOD 单元测试来更准确地评估模型在 Out-of-distribution 检测中的表现，并针对预训练对 OOD 检测性能的影响进行了详细的评估。

    Jun, 2023

  • 统一的超领域检测：基于模型视角

    本文提出了一个更广泛的框架来研究模型针对特定因素（如未知类别、协变量变化等) 检测 out-of-distribution（OOD）问题，该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例，而是否拒绝该测试样例取决于模型本身，该文提供了大量分析和见解，用以改进和理解在不受控制的环境中的 OOD 检测。

    Apr, 2023

  • 环境和传感器领域的鲁棒性和超出分布的未探索面：协变量转换

    计算机视觉应用中，现有的稳健性基准测试依赖于对数字图像的扰动，从而偏离了图像获取过程中发生的分布转变。为了弥合这一差距，我们引入了一个新的分布转变数据集 ImageNet-ES，该数据集由一个真实相机在一个可控实验环境中直接捕获的 202k 张图像组成。通过这个新数据集，我们评估了超出分布范围 (Out-of-Distribution, OOD) 检测和模型稳健性。我们发现，现有的 OOD 检测方法无法应对 ImageNet-ES 中的协变量转变，这意味着应重新审视 OOD 的定义和检测，以适应真实世界的分布变化。我们还观察到，通过学习环境和传感器的变化，模型在 ImageNet-C 和 - ES 方面都更加稳健，这是在现有数字增强的基础上的补充。最后，我们的结果表明，通过相机传感器控制有效地减轻转变可以显著提高性能，而无需增加模型大小。通过这些发现，我们的基准测试可能有助于未来关于计算机视觉稳健性、OOD 和相机传感器控制的研究。我们的代码和数据集可在此 https URL 找到。

    Apr, 2024

  • MOS: 针对大型语义空间的扩展分布外检测

    本文提出了一种基于组的 OOD 检测框架和一种新颖的 OOD 评分函数 MOS，通过将大语义空间分解成具有相似概念的小组，简化内部与外部数据之间的决策边界，从而使得面对高维度分类空间的场景下，我们的方法比以前的方法更为有效。在四个精心策划的 OOD 数据集上进行了评估，证明了 MOS 的性能优越，相比之前最好的方法，平均 FPR95 降低 14.33％，推理速度提高 6 倍。

    May, 2021

  • 利用混合未标记数据检测已知和未知失配类别样本

    本研究主要解决有限标记数据和丰富无标记数据可用的更加现实的情况下的 OOD 检测问题。我们提出了一种自适应的基于样本熵和适当温度选择潜在 ID 和 OOD 样本的方法 (AIOL)，并利用数据扩充技术进一步提高了其性能。我们在多种基准数据集上进行的实验表明，我们的方法优于其他方法。

    Oct, 2022