基于预训练模型 CLIP 的零样本外部分布检测
CLIPScope 是一种零样本 OOD 检测方法,通过类似 Bayesian 后验更新的方式归一化样本的置信度得分,并利用大型词汇数据库挖掘最远和最近于 ID 类的类标签,以最大化覆盖 OOD 样本,经过广泛的消融研究和实证评估,展示了 CLIPScope 在各种 OOD 检测基准中的最先进性能。
May, 2024
利用大规模和多样化的离群类别标签作为提示并通过离群样本生成模块增强零样本离群检测,实验结果表明 Outlier Label Exposure (OLE)对于大规模离群检测和难样本离群检测具有显著提升和创新性的性能。
Jun, 2024
本文提出了一种名为 CLIPN 的新方法,通过使用正面语义提示和否定语义提示,赋予 CLIP 区分 OOD 和 ID 样本的能力,从而实现零样本 OOD 检测。实验结果表明,基于 ViT-B-16 的 CLIPN 在 ImageNet-1K 的零样本 OOD 检测任务中,至少在 AUROC 和 FPR95 两个指标上优于 7 种常用算法,为有效利用 CLIP 进行下游 OOD 任务提供了坚实的基础。
Aug, 2023
我们介绍了一种名为 LoCoOp 的新方法,它针对 few-shot OOD 检测进行本地正则化的上下文优化,利用 CLIP 本地特征的部分作为 OOD 特征,并展示了它在大规模 ImageNet OOD 检测基准测试中的优越性。
Jun, 2023
本文提出了一种新的问题设置,称为 in-distribution(ID)检测,其中通过使用 CLIP 功能的全局和局部视觉文本对齐,我们可以将包含 ID 对象的图像识别为 ID 图像,并将缺少 ID 对象的图像识别为 OOD 图像,并且实验表明,GL-MCM 在多对象数据集和单对象 ImageNet 基准上优于比较方法。
Apr, 2023
本研究针对深度学习模型中的未知分布(OOD)检测问题,提出了一种基于文本 - 图像预训练模型的一类开放集合 OOD 检测器,可以检测细粒度或粗粒度标签,甚至自然语言定义的各种 OOD,证实本方法在所有测试项目中表现出卓越的性能。
May, 2023
该文章从预训练功能提取器、视觉超出分布(OOD)检测、语言图像预训练模型、对抗性操纵的 OOD 图像和视觉异常检测等方面进行了全面实验研究,证明了使用最近邻特征相似度作为 OOD 检测得分的对比语言 - 图像预训练模型实现了最先进的无监督 OOD 性能,同时可以在无内部分布微调的情况下获得有监督的最先进 OOD 检测性能,并指出需要基于实验研究建立新的视觉异常检测基准。
Mar, 2023
通过使用 CLIP-OS 方法,在少样本学习中的 OOD 检测中,提出了一种新颖的 patch 均匀卷积和适应性的 ID 相关信息提取方法,并结合合成的可靠 OOD 数据和未知感知的提示学习,实现了 ID 和 OOD 之间的有效区分,从而获得了卓越的性能。
Mar, 2024
提出了一种名为 ODPC 的新方法,通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类,以便于检测,并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示,并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明,该方法可以得到最先进的结果。
Mar, 2024
利用扩散模型的生成能力和 CLIP 的强大特征提取能力,我们提出了一种新颖的 OOD 检测方法,通过使用这些特征作为扩散模型的条件输入,我们可以在使用 CLIP 进行编码后重建图像。原始图像与重建图像之间的差异被用作 OOD 识别的信号,我们的方法不需要类别特定的标记,提高了实用性和可扩展性,且经过多个基准数据集的广泛实验证明了我们方法的鲁棒性和有效性。
Jun, 2024