遮蔽对比学习用于异常检测

IJCAIMay, 2021

Masked Contrastive Learning for Anomaly Detection

Hyunsoo Cho, Jinseok Seol, Sang-goo Lee

TL;DR本文提出了一种基于自我监督学习方法的特定任务变体对比学习称为 “遮蔽对比学习”，其更适用于异常检测，并提出了一种自我集成推断方法，通过利用辅助自我监督任务学习的能力进一步提高模型性能，在各种基准数据集上的表现显著超过以往的最先进方法。

Abstract

Detecting anomalies is one fundamental aspect of a safety-critical software system, however, it remains a long-standing problem. Numerous branches of works have been proposed to alleviate the complication and have demonstrated their efficiencies. In particular, self-supervised learning

anomaly detection self-supervised learning contrastive learning masked contrastive learning self-ensemble inference

发现论文，激发创造

对比自监督学习综述

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

对比预测编码用于异常检测

本论文使用对比学习的方法，以 Contrastive Predictive Coding 模型为基础，通过解释模型的对比损失作为异常得分，进行异常检测和分割，取得了令人满意的结果，适用于 MVTec-AD 数据集。

Jul, 2021

均值漂移对比损失用于异常检测

本文提出一种新的深度异常检测方法，利用预训练的表示在外部数据集上进行对比学习，并基于分析提出改进的对比学习目标函数 Mean-Shifted Contrastive Loss，该方法可以显著提高异常检测性能。实验结果表明，与现有方法相比，在 CIFAR-10 数据集上实现了 98.6％的 ROC-AUC 表现，达到了最新的技术水平。

Jun, 2021

基于对比自监督学习的属性网络异常检测

本文提出了一种利用 “对比自监督学习” 框架进行基于深度学习的异常检测的方法，该方法能够使用大量属性和复杂的结构高效检测到网络中存在的异常，并在七个基准数据集上超越目前最先进的方法。

Feb, 2021

CL-Flow：通过对比学习加强归一化流以实现更好的异常检测

我们提出了一种自监督异常检测方法，结合对比学习和 2D-Flow，以实现更精确的检测结果和更快的推理过程。与主流的无监督方法相比，我们的方法展示了优越的检测准确度、更少的额外模型参数和更快的推理速度，整个训练和推理过程都是端到端的。

Nov, 2023

对比学习的隐私风险量化与减轻

本文针对对比度学习的隐私问题进行了首次隐私分析，实验结果表明，相对于监督学习模型，对比学习模型更易受到属性推断攻击，但其会导致的成员推断攻击风险较小。为解决这一问题，提出了一种新的隐私保护对比度学习机制 Talos，通过对抗式训练成功地缓解了属性推断威胁，同时保持了其成员隐私和模型效用。

Feb, 2021

掩蔽以改进卷积神经网络的对比式自监督学习，并揭示显著性

通过在卷积神经网络中引入掩蔽操作作为额外的数据增强方法，并显式考虑显著性约束，本研究提出了一种改进的对比学习框架，以减轻包括掩蔽操作在内的对比学习中存在的问题，并在多个数据集、对比学习机制和下游任务上进行的广泛实验验证了其有效性和卓越性能。

Sep, 2023

基于对比学习的无监督学习目标检测

我们提出了一种通过无监督 / 自监督学习训练单阶段目标检测器的创新方法，该方法有潜力彻底改变标注过程，大大减少人工标注所需的时间和成本，并为之前难以实现的研究机会铺平了道路。与现有的主要针对分类任务的无监督学习方法不同，我们的方法承担了目标检测的独特挑战，开创了 intra-image 对比学习与 inter-image 对应的概念，能够获取目标检测所需的重要位置信息。该方法熟练地学习和表示这些位置信息，并生成信息丰富的热图。我们的结果展示了 89.2% 的卓越准确率，在计算机视觉领域的无监督目标检测领域突破性地提高了 15 倍，相比随机初始化。

Feb, 2024

SMCL：用于长尾识别的显著性掩蔽对比学习

本文提出了一种新的方法，利用显著性遮罩和对比学习来减轻训练不平衡数据的问题并提高模型的泛化能力，在特征空间中将遮罩图像移向次要类别，以减少与原始类别相关的背景特征。实验证明，我们的方法在基准长尾数据集上获得了最先进的性能水平。

Jun, 2024

基于层次增强的单向汇聚对比学习用于异常检测

本论文提出了一种名为 UniCon-HA 的方法，通过结合监督和无监督的对比损失，明确鼓励正常样本的集中和虚拟异常样本的分散。通过软机制对每个扩增的正常样本进行重新加权，以确保纯净的集中。此外，通过采用易到难的层次化增强策略，并根据数据增强的强度在网络的不同深度进行对比聚合，以促进更高的集中。在三个异常检测设置下进行了评估，包括无标签单一类别、无标签多类别和有标签多类别，结果表明该方法在各方面均优于其他竞争方法。

Aug, 2023