一种用于含有异常数据的完全无监督异常检测的通用机器学习框架

Aug, 2023

一种用于含有异常数据的完全无监督异常检测的通用机器学习框架

A Generic Machine Learning Framework for Fully-Unsupervised Anomaly Detection with Contaminated Data

Markus Ulmer, Jannik Zgraggen, Lilach Goren Huber

TL;DR使用无监督的数据改进框架，我们比较了训练过程中可能存在异常样本的情况下，对于异常检测 (Anomaly Detection) 任务，利用机器学习模型进行异常检测的性能，并将其与使用仅含正常样本的理想训练数据进行了比较，在多元时间序列数据的公共数据集上展示了该方法的优越性。

Abstract

anomaly detection (AD) tasks have been solved using machine learning algorithms in various domains and applications. The great majority of these algorithms use normal data to train a residual-based model, and assign anomaly scores to unseen samples based on their dissimilarity with the

anomaly detection machine learning algorithms contaminated training data refinement multivariate time series

发现论文，激发创造

数据污染下无监督鲁棒异常检测的迭代方法

减小理论假设与实际训练数据之间的差距，并提出一个学习框架来改进正常性表示，通过识别样本的正常性，并在训练过程中迭代更新样本的重要性权重。还提出了终止条件，受到异常检测目标的启发。通过在多个受污染数据集上进行实验证明，该框架提高了三种典型异常检测方法的鲁棒性。

Sep, 2023

多变量时间序列异常检测与污染数据：应用于生理信号

本研究介绍了一种无监督式的感知时间序列异常检测方法（TSAD-C），通过对带有异常的训练数据进行去噪、建立变量依赖模型和检测异常值等步骤，成功在三个广泛使用的生理数据集上超越现有方法，达到了领域中的最新技术水平。

Aug, 2023

弱监督异常检测：一项综述

本研究是第一部弱监督异常检测方法的全面调查，将其分为三个弱监督设置，以及四种数据模态，并针对每种设置提供了形式化定义、关键算法和潜在未来方向。我们在选择的设置上进行了实验，并发布了源代码，以及一些弱监督异常检测方法和数据的收集。

Feb, 2023

污染数据异常检测的潜在异常暴露

本研究提出一种在未标记异常情况下训练异常检测器的策略，通过联合推断二进制标签（正常 vs. 异常）并更新模型参数来使用两个损失的组合，表现出比基准测试更显著的改进。

Feb, 2022

基于聚类的异常检测统一框架

本文提出了一种新颖的概率混合模型用于异常检测，建立了表示学习、聚类和异常检测之间的理论联系，并通过最大化一种新颖的考虑异常数据的数据似然性，使表示学习和聚类能够有效减少异常数据的不良影响，并共同促进异常检测。通过受物理中的引力分析启发，还设计了一种改进的异常分数，更有效地利用表示学习和聚类的联合能力。在包括 30 个不同数据集的 17 种基准方法的广泛实验中，验证了所提方法的有效性和泛化能力，超过了现有技术方法。

Jun, 2024

深度异常检测中的假设重新思考

本研究探讨异常检测在图像领域的深度学习方法，通过在 ImageNet 数据集上与现有深度学习算法和少量随机自然图像进行比较，发现多尺度图像数据的结构特点可以提高异常样本的识别效果。

May, 2020

一种用于入侵检测的混合深度学习异常检测框架

本论文提出了一个基于深度学习异常检测的网络入侵攻击检测框架，该框架结合了无监督、半监督和监督学习算法，同时在 NSL-KDD、CIC-IDS2018 和 TON_IoT 等三个基准数据集上验证了其性能。

Dec, 2022

缺乏标签验证数据下的异常检测器模型选择

通过合成验证数据的方法，我们提出了一个用于评估基于图像的异常检测器的通用框架，该框架与其他基于真实验证集的方法选择相同的模型和超参数，并在各种实验中表现出最佳的异常检测准确性。

Oct, 2023

面向监督的异常检测

本研究提出了一种基于半监督学习和主动学习的异常检测算法，能够在数据标记要求较高的情况下，大大减少数据标记量，提高检测精度，适用于网络入侵检测等领域。

Jan, 2014

使用预训练网络进行完全无监督的视觉检查的数据细化

本文研究使用深度预训练神经网络提取特征的传统离群值检测技术在 MVTec Anomaly Detection 数据集上交出的出色成绩在全无监督场景下的鲁棒性，提出了一种简单的单类分类策略（SROC），并证明其在与现有文献中更复杂的策略竞争时具有更好的性能。

Feb, 2022