Dec, 2023

对比表示学习中的正则化及外域检测的理解

PDF
TL;DR对比度表示学习已经成为异常检测的一种杰出方法，本文通过探索对比特征的 l2 - 范数及其在超出分布检测中的应用，提出了一种简单的基于对比学习的方法，通过在对比层空间对正常样本进行抵制，来将超出分布的数据纳入模型中。我们的方法可以灵活地作为异常暴露（OE）方法应用，其中超出分布的数据是随机图像的大集合，或者作为完全自监督学习方法应用，其中超出分布的数据是通过应用分布变换自动生成的。我们的方法能够灵活地处理那些对比度学习基于异常检测方法普遍表现不佳的数据集，例如航空影像或显微镜影像。此外，通过对比度学习学习到的高质量特征在 OE 场景中始终提高性能，即使可用的超出分布数据集不够多样化。通过大量实验证明了我们所提方法在各种场景下的优越性，包括单一模态和多模态设置，以及各种图像数据集。
发现论文，激发创造
  • 均值漂移对比损失用于异常检测

    本文提出一种新的深度异常检测方法，利用预训练的表示在外部数据集上进行对比学习，并基于分析提出改进的对比学习目标函数 Mean-Shifted Contrastive Loss，该方法可以显著提高异常检测性能。实验结果表明，与现有方法相比，在 CIFAR-10 数据集上实现了 98.6％的 ROC-AUC 表现，达到了最新的技术水平。

    Jun, 2021

  • OOD 感知的有监督对比学习

    使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征，并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失，第一个项将辅助 OOD 表征与 ID 表征分开，而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型，并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时，我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效，作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较，并展示了最先进的结果。

    Oct, 2023

  • 简单高质量带 L2 归一化的 OOD 检测

    本文针对 ResNet 结构进行 L2 正则化改进，在测试时移除 L2 正则化后，特征向量的 L2 范数成为了网络不确定性的良好指标。

    Jun, 2023

  • 改进的外部分布检测对比训练

    本文介绍了一种利用对比性训练来提高机器学习系统检测异常数据输入的方法，通过引入和使用混淆对数概率得分来量化数据集的内离散度，作者证明了这种方法在 “近 OOD” 类的性能较先前方法有所提高。

    Jul, 2020

  • 有监督对比学习建模鉴别性表示进行领域外检测

    本文提出了一种监督对比学习方法和对抗性增强机制，在语义空间中学习以区分任务型对话系统中的域外意图，并实证了该方法对于 OOD 检测的效果。

    May, 2021

  • 特征归一化防止非对比学习动力崩溃

    对比学习是一种自监督表示学习框架，在数据表示空间中通过吸引力使两个通过数据增强生成的正样本相似，同时通过排斥力使其远离负样本。然而，特征规范化在防止动态崩溃方面起着重要作用。

    Sep, 2023

  • 利用嵌入对受损图像数据集中的内部及外部噪声进行对比无监督特征聚类

    这篇研究使用无监督对比特征学习的方法来对网络图像进行检索，然后结合奇异谱嵌入和离群点敏感聚类来检测噪声和局外点，并训练噪声鲁棒的神经网络来纠正 ID 噪声和利用 OOD 样本进行引导对比学习，提高底层特征。

    Jul, 2022

  • 通过隐式层集成增强自然语言理解中的外部分布检测

    该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

    Oct, 2022

  • 马哈拉诺比斯感知训练用于外部分布检测

    在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

    Nov, 2023

  • 精准分布：粗到细的非对比学习用于异常检测和定位

    该研究提出了一种新的无监督异常检测和定位框架，通过粗到精的对齐过程从正常图像中学习密集和紧凑的分布，引入了称为非对比学习的新预文本任务，并在真实工业数据集上取得了最新的检测效果。

    Oct, 2021