Jun, 2023

LoCoOp: 基于 Prompt 学习的少样本场外检测

PDF
TL;DR我们介绍了一种名为 LoCoOp 的新方法，它针对 few-shot OOD 检测进行本地正则化的上下文优化，利用 CLIP 本地特征的部分作为 OOD 特征，并展示了它在大规模 ImageNet OOD 检测基准测试中的优越性。
few-shot ood detectionprompt learninglocal regularizationclipimagenet
发现论文，激发创造
  • 少样本外分布检测的类 ID 式提示学习

    利用 CLIP 在与 ID 样本相邻的空间中发现 ID 样本的异常值从而帮助检测最具挑战性的 OOD 样本，进而利用这些异常值进一步提升 OOD 检测中 CLIP 的效能，在各种真实世界图像数据集上表现出卓越的少样本学习性能（例如，在 ImageNet-1k 数据集上的 4 样本 OOD 检测中，与现有最先进方法相比，我们的方法将平均 FPR95 降低了 12.16％，平均 AUROC 提高了 2.76％）。

    Nov, 2023

  • 提升预测学习中的近似 OOD 检测：最大利益，最小成本

    我们研究了提示式学习模型在近似 OOD 检测中的能力，并观察到常用的 OOD 得分在此任务中表现有限。为了提升性能，我们提出了一种快速简单的后续方法，与现有的基于逻辑的得分相结合，将近似 OOD 检测的 AUROC 提高了最佳 11.67％，并具有最小的计算成本。我们的方法可以轻松应用于任何提示式学习模型，无需改变架构或重新训练模型。通过对 13 个数据集和 8 个模型进行全面的实证评估，证明了我们的方法的有效性和适应性。

    May, 2024

  • 基于预训练模型 CLIP 的零样本外部分布检测

    本文研究零样本数据识别问题，提出了一种基于多模态表示学习的方法，名为 ZOC，通过对图像进行文本描述生成和置信度评分来实现未知分类的检测，并在 5 个基准数据集上展现了比基准方案更好的性能。

    Sep, 2021

  • 利用异常标签曝光进行零样本领域外检测

    利用大规模和多样化的离群类别标签作为提示并通过离群样本生成模块增强零样本离群检测，实验结果表明 Outlier Label Exposure （OLE）对于大规模离群检测和难样本离群检测具有显著提升和创新性的性能。

    Jun, 2024

  • 视觉语言模型的提示学习

    本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

    Sep, 2021

  • 基于 CLIP 的少样本异常检测中的异常合成

    通过使用 CLIP-OS 方法，在少样本学习中的 OOD 检测中，提出了一种新颖的 patch 均匀卷积和适应性的 ID 相关信息提取方法，并结合合成的可靠 OOD 数据和未知感知的提示学习，实现了 ID 和 OOD 之间的有效区分，从而获得了卓越的性能。

    Mar, 2024

  • CLIPScope：用贝叶斯评分增强零样本 OOD 检测

    CLIPScope 是一种零样本 OOD 检测方法，通过类似 Bayesian 后验更新的方式归一化样本的置信度得分，并利用大型词汇数据库挖掘最远和最近于 ID 类的类标签，以最大化覆盖 OOD 样本，经过广泛的消融研究和实证评估，展示了 CLIPScope 在各种 OOD 检测基准中的最先进性能。

    May, 2024

  • 视觉语言模型的条件提示学习

    本研究通过提出的 CoCoOp 方法，将输入联系令牌向量与图像条件结合起来和动态提示，以解决 Context Optimization（CoOp）中发现的上下文过度适应基类，取得了更好的泛化性和域泛化性能，实验结果可在提供的网址查看。

    Mar, 2022

  • 利用视觉语言基础模型进行多对象场景下的零样本内分布检测

    本文提出了一种新的问题设置，称为 in-distribution（ID）检测，其中通过使用 CLIP 功能的全局和局部视觉文本对齐，我们可以将包含 ID 对象的图像识别为 ID 图像，并将缺少 ID 对象的图像识别为 OOD 图像，并且实验表明，GL-MCM 在多对象数据集和单对象 ImageNet 基准上优于比较方法。

    Apr, 2023

  • CLIPN 用于零猜测异常检测：教导 CLIP 说不

    本文提出了一种名为 CLIPN 的新方法，通过使用正面语义提示和否定语义提示，赋予 CLIP 区分 OOD 和 ID 样本的能力，从而实现零样本 OOD 检测。实验结果表明，基于 ViT-B-16 的 CLIPN 在 ImageNet-1K 的零样本 OOD 检测任务中，至少在 AUROC 和 FPR95 两个指标上优于 7 种常用算法，为有效利用 CLIP 进行下游 OOD 任务提供了坚实的基础。

    Aug, 2023