本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

Apr, 2021

该文章从预训练功能提取器、视觉超出分布（OOD）检测、语言图像预训练模型、对抗性操纵的 OOD 图像和视觉异常检测等方面进行了全面实验研究，证明了使用最近邻特征相似度作为 OOD 检测得分的对比语言 - 图像预训练模型实现了最先进的无监督 OOD 性能，同时可以在无内部分布微调的情况下获得有监督的最先进 OOD 检测性能，并指出需要基于实验研究建立新的视觉异常检测基准。

Mar, 2023

该论文提出了一种名为 OODformer 的新型 OOD 检测架构，利用 transformer 的上下文能力来区分内部分布和 OOD 样本，通过视觉注意力利用上下文嵌入提高了分类的通用性，在 CIFAR-10 /-100 和 ImageNet30 上取得了新的最先进成果。

Jul, 2021

本文通过构建具有现实分布变化的新的鲁棒性基准，系统地测量了七个 NLP 数据集的预训练 Transformers 的 OOD 泛化能力。研究结果表明，Pretrained Transformers 的性能下降显著较小，在检测异常或 OOD 示例方面更加有效，同时发现更多样化的预训练数据可以增强模型的鲁棒性。

Apr, 2020

基于 OOD 检测的 Generate Rounded OOD Data (GROD) 算法通过惩罚 OOD 数据的错误分类和生成合成异常值来增强 Transformer 网络在各种任务上的泛化性能，并在不同数据类型的 NLP 和 CV 中的各种 OOD 检测任务中达到了 SOTA 水平。

Jun, 2024

研究了使用已预训练的 Transformer 模型在域外检测任务上的性能，并发现 Transformer 模型在默认情况下能够实现更高的检测性能。此外，结合改进方法如 CIDER，还可以进一步提升预训练的 ViT 和 CNN 模型在域外检测任务上的性能。结果表明，Transformer 模型作为域外检测的一种有希望的方法，为该任务在许多场景下建立了更强的基准。

Sep, 2023

本研究探讨了 VisionTransformers 在 ImageNet 规模设置中作为强大的超出分布检测器的影响，通过对大量模型的分析，发现预训练和微调方案对 ViTs 性能以及 OOD 检测表现产生了强烈影响，并确定了最佳实践训练方法。

May, 2024

机器学习模型在现实世界的医疗系统中可靠地运用和避免在分布之外的数据上产生不准确的预测是非常重要的。该研究提出了一个全面的可复现基准测试，比较了不同方法在接近和远离分布之外的数据上的表现，特别关注医疗表格数据的处理。研究发现对于远离分布之外的数据，问题似乎已经解决，但对于接近分布之外的数据仍然存在挑战。此外，将后处理方法与基于距离的机制结合可以显著改善性能，而 Transformer 架构相对于 MLP 和 ResNet 架构来说更加保守。

Sep, 2023

揭示预训练模型在预训练算法视角下，外分布数据对外分布检测性能的影响，并提出利用实例间鉴别性特征空间独立于 ID 决策边界的方法解决预训练模型的脆弱性。

Oct, 2023

该论文介绍了一个新的用于识别分布转移的未监督 OOD 检测器 TRUSTED，它基于变压器架构和数据深度的概念，实现了高效计算和最好的性能，能够有效地提高深度学习在实际应用中对于自然语言处理系统的适用性。

Nov, 2022