OOD 感知的有监督对比学习

Oct, 2023

OOD Aware Supervised Contrastive Learning

Soroush Seifi, Daniel Olmeda Reino, Nikolay Chumerin, Rahaf Aljundi

TL;DR使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

Abstract

Out-of-Distribution (OOD) detection is a crucial problem for the safe deployment of machine learning models identifying samples that fall outside of the training distribution, i.e. in-distribution data (ID). Most OOD works focus on the classification models trained with Cross Entropy (CE) and attempt to fix its inherent issues. In this work we leverage power

out-of-distribution detection supervised contrastive training classifier robustness pseudo-ood features state-of-the-art results

发现论文，激发创造

有监督对比学习建模鉴别性表示进行领域外检测

本文提出了一种监督对比学习方法和对抗性增强机制，在语义空间中学习以区分任务型对话系统中的域外意图，并实证了该方法对于 OOD 检测的效果。

May, 2021

改进的外部分布检测对比训练

本文介绍了一种利用对比性训练来提高机器学习系统检测异常数据输入的方法，通过引入和使用混淆对数概率得分来量化数据集的内离散度，作者证明了这种方法在 “近 OOD” 类的性能较先前方法有所提高。

Jul, 2020

通用多模态 OOD 检测框架

这篇论文提出了一种名为 WOOD 的通用弱监督 OOD 检测框架，同时检测多种不同的 OOD 场景，并结合二元分类器和对比学习组件以取得双方的优势，实验证明该模型在多模态 OOD 检测方面超过了现有方法。

Jul, 2023

预训练变换器的对比分布外检测

本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法，该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据，实验表明，本文方法的性能超过了基准线，并且更紧凑的表示方法是改进的基础。

Apr, 2021

在自然环境中训练 OOD 检测器

本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

Feb, 2022

使用大型语言模型生成的同类对等生成器进行外部分布检测

提出了一种名为 ODPC 的新方法，通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类，以便于检测，并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示，并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明，该方法可以得到最先进的结果。

Mar, 2024

通过隐式层集成增强自然语言理解中的外部分布检测

该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

Oct, 2022

利用自监督排除分类器集合进行的外分布检测

本论文提出一种基于深度学习和分类器集成的方法，通过独特的基于边界的损失函数来可靠地检测出分布外数据，同时在超过一些 OOD 检测基准上明显优于现有算法。

Sep, 2018

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022