Apr, 2023

利用视觉语言基础模型进行多对象场景下的零样本内分布检测

PDF
TL;DR本文提出了一种新的问题设置，称为 in-distribution（ID）检测，其中通过使用 CLIP 功能的全局和局部视觉文本对齐，我们可以将包含 ID 对象的图像识别为 ID 图像，并将缺少 ID 对象的图像识别为 OOD 图像，并且实验表明，GL-MCM 在多对象数据集和单对象 ImageNet 基准上优于比较方法。
发现论文，激发创造
  • 基于预训练模型 CLIP 的零样本外部分布检测

    本文研究零样本数据识别问题，提出了一种基于多模态表示学习的方法，名为 ZOC，通过对图像进行文本描述生成和置信度评分来实现未知分类的检测，并在 5 个基准数据集上展现了比基准方案更好的性能。

    Sep, 2021

  • 利用视觉语言表示探究外域检测

    该研究提出 Maximum Concept Matching（MCM）这一零样本的多模态算法来识别异常数据，利用视觉特征与文本概念进行对齐。研究发现 MCM 比单模态算法在效果上更为优秀，特别是结合视觉 - 语言特征时。

    Nov, 2022

  • LoCoOp: 基于 Prompt 学习的少样本场外检测

    我们介绍了一种名为 LoCoOp 的新方法，它针对 few-shot OOD 检测进行本地正则化的上下文优化，利用 CLIP 本地特征的部分作为 OOD 特征，并展示了它在大规模 ImageNet OOD 检测基准测试中的优越性。

    Jun, 2023

  • CLIPScope：用贝叶斯评分增强零样本 OOD 检测

    CLIPScope 是一种零样本 OOD 检测方法，通过类似 Bayesian 后验更新的方式归一化样本的置信度得分，并利用大型词汇数据库挖掘最远和最近于 ID 类的类标签，以最大化覆盖 OOD 样本，经过广泛的消融研究和实证评估，展示了 CLIPScope 在各种 OOD 检测基准中的最先进性能。

    May, 2024

  • 微调如何影响视觉语言模型的越界检测？

    本文探讨了如何通过多模态概念匹配框架来评估诸如 CLIP 等最新视觉语言模型的 fine-tuning 方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的 ODD 得分方法至关重要，MCM 得分方法表现最佳，prompt learning 在超出分布检测性能上表现最好。

    Jun, 2023

  • 利用异常标签曝光进行零样本领域外检测

    利用大规模和多样化的离群类别标签作为提示并通过离群样本生成模块增强零样本离群检测，实验结果表明 Outlier Label Exposure （OLE）对于大规模离群检测和难样本离群检测具有显著提升和创新性的性能。

    Jun, 2024

  • 基于 CLIP 的少样本异常检测中的异常合成

    通过使用 CLIP-OS 方法，在少样本学习中的 OOD 检测中，提出了一种新颖的 patch 均匀卷积和适应性的 ID 相关信息提取方法，并结合合成的可靠 OOD 数据和未知感知的提示学习，实现了 ID 和 OOD 之间的有效区分，从而获得了卓越的性能。

    Mar, 2024

  • 探索用于多模态离域检测的大型语言模型

    应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

    Oct, 2023

  • 对比语言 - 图像预训练（CLIP）模型是强大的超出分布检测器

    该文章从预训练功能提取器、视觉超出分布（OOD）检测、语言图像预训练模型、对抗性操纵的 OOD 图像和视觉异常检测等方面进行了全面实验研究，证明了使用最近邻特征相似度作为 OOD 检测得分的对比语言 - 图像预训练模型实现了最先进的无监督 OOD 性能，同时可以在无内部分布微调的情况下获得有监督的最先进 OOD 检测性能，并指出需要基于实验研究建立新的视觉异常检测基准。

    Mar, 2023

  • 使用大型语言模型生成的同类对等生成器进行外部分布检测

    提出了一种名为 ODPC 的新方法，通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类，以便于检测，并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示，并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明，该方法可以得到最先进的结果。

    Mar, 2024