OAML：用于 OOD 检测增强的异常值感知度量学习

Jun, 2024

OAML：用于 OOD 检测增强的异常值感知度量学习

OAML: Outlier Aware Metric Learning for OOD Detection Enhancement

Heng Gao, Zhuolin He, Shoumeng Qiu, Jian Pu

TL;DR我们提出了一种名为 Outlier Aware Metric Learning (OAML) 的框架，通过 k-NN 算法和稳定扩散模型在特征级别生成用于训练的异常样本，以提高语义空间中的特征差异，并结合基于互信息的对比学习方法，有效地利用 OOD 数据进行学习。此外，我们将知识蒸馏引入学习框架，以防止内部分类准确性的降低。通过对比学习和知识蒸馏算法的结合，我们的方法在各种数据集上显著优于以前的 OE 方法。

Abstract

out-of-distribution (OOD) detection methods have been developed to identify objects that a model has not seen during training. The Outlier Exposure (OE) methods use auxiliary datasets to train OOD detectors directly. However, the collection and learning of representative OOD samples ma

out-of-distribution ood detection outlier exposure methods outlier aware metric learning contrastive learning

发现论文，激发创造

基于深度度量学习的合成异常暴露的离群分布检测

该研究提出了一种将深度度量学习和扩散模型结合起来的新方法，用于通过合成数据对于分布外（OOD）进行检测，并证明基于度量学习的损失函数优于 softmax，在生成的 OOD 数据上的训练使得模型在传统 OOD 检测指标上表现优于强基线模型。

May, 2024

元外推学习用于持续自适应异常检测

我们提出了一种新颖且更现实的设置，称为连续自适应离群分布检测（CAOOD），旨在开发一种能够适应动态和迅速适应新到达分布的离群分布检测模型，并且在部署期间具有不足的 ID 样本。通过设计学习和适应图表，我们开发了元离群学习（MOL），在训练过程中学习到了一个良好初始化的离群分布检测模型。在测试过程中，MOL 通过少量适应快速调整到新的分布，从而确保在不断变化的分布上具有离群分布检测性能。对几个离群分布基准测试的广泛实验证明了我们方法在保持 ID 分类准确性和离群分布检测性能方面的有效性。

Sep, 2023

一个用于数据质量保证中的离群检测的新的统计度量

使用深度学习技术进行特征表示，并开发一种新的统计测量方法进行 OOD 检测。研究通过与其他常见统计测量方法进行比较分析，验证了研究在 OOD 和 AIQM 研究中的可行性和有效性。

Oct, 2023

度量学习与自适应边界用于域外检测

设计了一种基于度量学习和自适应决策边界的 OOD 检测算法，相较于其他算法，在类别数量较少的情况下显著提高 OOD 性能，保持了 IND 类别的准确性。

Apr, 2022

通过隐式层集成增强自然语言理解中的外部分布检测

该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

Oct, 2022

OOD 感知的有监督对比学习

使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

Oct, 2023

通用多模态 OOD 检测框架

这篇论文提出了一种名为 WOOD 的通用弱监督 OOD 检测框架，同时检测多种不同的 OOD 场景，并结合二元分类器和对比学习组件以取得双方的优势，实验证明该模型在多模态 OOD 检测方面超过了现有方法。

Jul, 2023

神经网络的鲁棒性外部分布检测

本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

Mar, 2020

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

持续无监督的外部分布检测

不断进行未标注 OOD 检测的新设置，使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数，并设计了一种置信度缩放的少样本 OOD 检测器，大幅改善相关领域的强基准模型。

Jun, 2024