全谱外部样本检测
提出一种称为 Likelihood-Aware Semantic Alignment(LSA)的框架,以促进图像和文本的对应关系,针对全谱带外分布检测进行语义相关性的调整,并在复杂的领域转换中适应性地识别有正常分布的样本。
Dec, 2023
本研究构建了一个名为 Incremental Shift OOD(IS-OOD)的基准,通过基于提出的语言对齐图像特征分解(LAID)的移位测量方法,将测试样本分成不同的子集,相对于 ID 数据集具有不同的语义和协变量移位程度,以解决当前存在的超出分布(OOD)检测基准中的 Sorites 悖论问题。此外,还构建了包含更多多样的协变量内容的高质量生成图像的 Synthetic Incremental Shift(Syn-IS)数据集,以补充 IS-OOD 基准。研究评估了在本基准上进行的当前 OOD 检测方法,并发现几个重要结论:(1)大多数 OOD 检测方法的性能随着语义移位的增加而显著提高;(2)某些方法如 GradNorm 在做出决策时较少依赖于语义移位,可能具有不同的 OOD 检测机制;(3)图像中过度的协变量移位也可能被某些方法视为 OOD。
Jun, 2024
通过广泛的实验,我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感,并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。
Oct, 2023
语义领域间异常检测方法同时解决多个分布转变,并通过提出的领域泛化和异常检测正则化策略,在三个领域泛化基准测试中展示了其对于异常检测性能的卓越表现以及相当的 InD 分类准确度。
Sep, 2023
本文提出了一种新的架构,称之为 OOD Semantic Pruning(OSP),旨在将 Out-of-Distribution(OOD)数据从 In-Distribution(ID)数据中剪除,从而缓解数据语义层面上的污染问题,提升半监督学习的鲁棒性能。该方法经过实验证明,在各项基准测试中表现出色,超越了之前的最佳结果。
May, 2023
本文提供了关于 Out-of-distribution 检测方法的研究,发现在检测背景变化的数据方面,密度估计表现更好,而在语义变化的数据方面则模型校准表现更好。同时指出当前方法在挑战数据检测方面存在缺陷,需要对 OOD 进行明确的定义。
Sep, 2021
本文提出了一种新的 margin-based learning 框架,该框架利用公开的未标记数据,在同时泛化到协变量移位的情况下,鲁棒地检测语义移位。
Jun, 2023
本论文探讨了文本 out-of-distribution detection 的方法在检测 semantic 和 non-semantic shifts 时存在的问题,并提出了一个简单有效的综合方法 GNOME,通过整合 task-agnostic 和 task-specific representations 的置信度得分来检测语义和非语义的偏移,实验证明 GNOME 在两个跨任务基准测试中表现出了明显的改进。
Jan, 2023
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等) 检测 out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的 OOD 检测。
Apr, 2023