利用视觉语言表示探究外域检测

Nov, 2022

Delving into Out-of-Distribution Detection with Vision-Language Representations

Yifei Ming, Ziyang Cai, Jiuxiang Gu, Yiyou Sun, Wei Li...

TL;DR该研究提出 Maximum Concept Matching（MCM）这一零样本的多模态算法来识别异常数据，利用视觉特征与文本概念进行对齐。研究发现 MCM 比单模态算法在效果上更为优秀，特别是结合视觉 - 语言特征时。

Abstract

Recognizing out-of-distribution (OOD) samples is critical for machine learning systems deployed in the open world. The vast majority of OOD detection methods are driven by a single modality (e.g., either vision or language), leaving the rich information in multi-modal representations u

out-of-distribution detection multi-modal representations maximum concept matching zero-shot learning vision-language features

发现论文，激发创造

探索用于多模态离域检测的大型语言模型

应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

Oct, 2023

通用多模态 OOD 检测框架

这篇论文提出了一种名为 WOOD 的通用弱监督 OOD 检测框架，同时检测多种不同的 OOD 场景，并结合二元分类器和对比学习组件以取得双方的优势，实验证明该模型在多模态 OOD 检测方面超过了现有方法。

Jul, 2023

利用视觉语言基础模型进行多对象场景下的零样本内分布检测

本文提出了一种新的问题设置，称为 in-distribution（ID）检测，其中通过使用 CLIP 功能的全局和局部视觉文本对齐，我们可以将包含 ID 对象的图像识别为 ID 图像，并将缺少 ID 对象的图像识别为 OOD 图像，并且实验表明，GL-MCM 在多对象数据集和单对象 ImageNet 基准上优于比较方法。

Apr, 2023

VI-OOD：文本外分布检测的统一表示学习框架

使用 Transformers，本文提出了一种针对文本型 OOD 检测的新颖变分推断框架（VI-OOD），通过有效利用预训练 Transformers 的表示，最大化联合分布 $p (x, y)$ 的似然度，从而解决了现有 OOD 检测方法中出现的问题。通过对多个文本分类任务的广泛实验，VI-OOD 展示了其高效性和广泛适用性。

Apr, 2024

MultiOOD：多模态下的扩展外分布检测

通过引入多模态 OOD（Out-of-Distribution）检测基准 MultiOOD，本研究评估了现有的单模态 OOD 检测算法，并提出了 Agree-to-Disagree（A2D）算法和 NP-Mix 异常值合成方法，通过利用多模态信息和探索更广泛的特征空间，显著提升了现有 OOD 检测算法的性能。

May, 2024

使用大型语言模型生成的同类对等生成器进行外部分布检测

提出了一种名为 ODPC 的新方法，通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类，以便于检测，并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示，并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明，该方法可以得到最先进的结果。

Mar, 2024

自动驾驶场景中基于语言增强的潜在表示的异常检测

利用多模态模型 CLIP 编码的图像和文本表示的余弦相似度作为一种新的表示，以改善用于视觉异常检测的潜在编码的透明性和可控性。通过与仅能产生用户无意义的潜在表示的现有预训练编码器进行比较，我们的实验表明，基于语言的潜在表示比传统视觉编码器的表示更好，并在与标准表示相结合时有助于提高检测性能。

May, 2024

使用预训练的视觉语言模型进行负标签引导的 OOD 检测

我们提出了一种名为 NegLabel 的新型事后 OOD 检测方法，该方法利用来自广泛语料库数据库的大量负标签，并设计了一种与负标签合作的 OOD 得分方案。通过理论分析，帮助理解负标签的机制。大量实验证明，我们的方法 NegLabel 在各种 OOD 检测基准数据集上实现了最先进的性能，并且在多种视觉语言模型中具有良好的泛化能力。此外，我们的方法 NegLabel 对于各种领域变化表现出了显著的鲁棒性。

Mar, 2024

微调如何影响视觉语言模型的越界检测？

本文探讨了如何通过多模态概念匹配框架来评估诸如 CLIP 等最新视觉语言模型的 fine-tuning 方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的 ODD 得分方法至关重要，MCM 得分方法表现最佳，prompt learning 在超出分布检测性能上表现最好。

Jun, 2023

OOD 感知的有监督对比学习

使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

Oct, 2023