改进的外部分布检测对比训练
使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征,并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失,第一个项将辅助 OOD 表征与 ID 表征分开,而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型,并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时,我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效,作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较,并展示了最先进的结果。
Oct, 2023
本文提出了一种使用只有训练集数据的预训练 Transformer 进行无监督的离群检测方法,该方法使用对比度损失调整 Transformer。最终使用马哈拉诺比斯距离来检测异常数据,实验表明,本文方法的性能超过了基准线,并且更紧凑的表示方法是改进的基础。
Apr, 2021
利用扩散模型的生成能力和 CLIP 的强大特征提取能力,我们提出了一种新颖的 OOD 检测方法,通过使用这些特征作为扩散模型的条件输入,我们可以在使用 CLIP 进行编码后重建图像。原始图像与重建图像之间的差异被用作 OOD 识别的信号,我们的方法不需要类别特定的标记,提高了实用性和可扩展性,且经过多个基准数据集的广泛实验证明了我们方法的鲁棒性和有效性。
Jun, 2024
提出了一种名为 ODPC 的新方法,通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类,以便于检测,并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示,并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明,该方法可以得到最先进的结果。
Mar, 2024
该文章从预训练功能提取器、视觉超出分布(OOD)检测、语言图像预训练模型、对抗性操纵的 OOD 图像和视觉异常检测等方面进行了全面实验研究,证明了使用最近邻特征相似度作为 OOD 检测得分的对比语言 - 图像预训练模型实现了最先进的无监督 OOD 性能,同时可以在无内部分布微调的情况下获得有监督的最先进 OOD 检测性能,并指出需要基于实验研究建立新的视觉异常检测基准。
Mar, 2023
本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响,并提出了一种名为 ALOE 的有效算法,该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式,可以灵活地与现有方法相结合,提高现有的 Out-of-distribution detection 方法的鲁棒性,CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。
Mar, 2020
本文介绍了一种针对 out-of-distribution(OOD)检测的创新类相关性学习方法,该方法在 OOD 管道中策略性地利用了类间关系,显著增强了 OOD 检测能力。在包括通用图像分类数据集(近 OOD 和远 OOD 数据集)的多样数据集上进行的大量实验表明,我们的方法在 OOD 检测方面优于现有技术。
Sep, 2023
本文介绍了一种高精度且轻量级的适用于条件语言模型的 OOD 检测方法,并展示了其在抽象摘要和翻译方面的有效性。在分布偏移的情况下,我们的方法可以被用于高质量输出的选择生成,同时自动避免低质量的输出,从而增加自然语言生成模型的安全性。
Sep, 2022
该论文提出了一种基于对比学习的框架,旨在有效地进行 out-of-distribution 检测,利用预训练的语言模型吸收丰富的信息,并在意图分类和异常检测等数据集中取得了显著的效果。
Oct, 2022