结合预训练视觉 Transformer 和 CIDER 进行域外检测

Sep, 2023

结合预训练视觉 Transformer 和 CIDER 进行域外检测

Combining pre-trained Vision Transformers and CIDER for Out Of Domain Detection

Grégor Jouet, Clément Duhart, Francis Rousseaux, Julio Laborde, Cyril de Runz

TL;DR研究了使用已预训练的 Transformer 模型在域外检测任务上的性能，并发现 Transformer 模型在默认情况下能够实现更高的检测性能。此外，结合改进方法如 CIDER，还可以进一步提升预训练的 ViT 和 CNN 模型在域外检测任务上的性能。结果表明，Transformer 模型作为域外检测的一种有希望的方法，为该任务在许多场景下建立了更强的基准。

Abstract

Out-of-domain (OOD) detection is a crucial component in industrial applications as it helps identify when a model encounters inputs that are outside the training distribution. Most industrial pipelines rely on pre-trained models for downstream tasks such as CNN or Vision →

out-of-domain detection pre-trained models transformers vit cnns

发现论文，激发创造

探索识别非分布极限

该研究论文表明，大规模预训练的 transformers 网络可以显著提高深度神经网络在接近 out-of-distribution 检测上的性能，包括基于图像和基因组学数据的任务，并探索了利用少量样本进行 outlier exposure 及为该类任务提供名称信息的方法。

Jun, 2021

基于预训练 Transformer 的无监督跨领域检测

本研究利用预训练的 transformers 的潜在特征表示来提出了一种简单而有效的方法，用于通过无监督的领域内数据检测领域外样本，并进一步提出了两种领域特定的微调方法来提高检测准确性。在两个数据集上的实验结果验证了该方法大大提高了更一般情景下的领域外检测能力。

Jun, 2021

如何训练您的 ViT 用于异常检测

本研究探讨了 VisionTransformers 在 ImageNet 规模设置中作为强大的超出分布检测器的影响，通过对大量模型的分析，发现预训练和微调方案对 ViTs 性能以及 OOD 检测表现产生了强烈影响，并确定了最佳实践训练方法。

May, 2024

预训练变换器的对比分布外检测

本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

Apr, 2021

OODformer: 异常检测变形金刚

该论文提出了一种名为 OODformer 的新型 OOD 检测架构，利用 transformer 的上下文能力来区分内部分布和 OOD 样本，通过视觉注意力利用上下文嵌入提高了分类的通用性，在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。

Jul, 2021

对比语言 - 图像预训练（CLIP）模型是强大的超出分布检测器

该文章从预训练功能提取器、视觉超出分布（OOD）检测、语言图像预训练模型、对抗性操纵的 OOD 图像和视觉异常检测等方面进行了全面实验研究，证明了使用最近邻特征相似度作为 OOD 检测得分的对比语言 - 图像预训练模型实现了最先进的无监督 OOD 性能，同时可以在无内部分布微调的情况下获得有监督的最先进 OOD 检测性能，并指出需要基于实验研究建立新的视觉异常检测基准。

Mar, 2023

预训练网络能否检测到熟悉的非分布数据？

揭示预训练模型在预训练算法视角下，外分布数据对外分布检测性能的影响，并提出利用实例间鉴别性特征空间独立于 ID 决策边界的方法解决预训练模型的脆弱性。

Oct, 2023

基于置信度的越界检测：一项比较研究与分析

通过对比研究和深度分析来评估各种最先进的方法对基于置信度的 OOD 检测的能力，并采用计算机视觉基准来复现和比较多种 OOD 检测方法。评估了它们在使用胸部 X 线进行疾病分类这一具有挑战性任务中的能力，结果表明在计算机视觉任务中高性能不直接转化为医学成像任务中的准确性，因此为开发下一代 OOD 检测方法提供了有用的见解。

Jul, 2021

无需领域内标签：文本领域外检测

本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。

Mar, 2022

低资源文本分类任务的领域外检测

本文提出了一种面对非常低的领域内训练数据进行零样本 out-of-domain 检测和少样本 in-domain 分类的解决方案：一个抗 OOD 的原型网络，通过与当前最新方法的比较，结果显示该方法在 zero-shot OOD 检测任务上效果优于 state-of-the-art 方法，在 ID 分类任务上性能竞争力强。

Aug, 2019