基于因果推论的自适应强化学习异常检测方法

May, 2024

基于因果推论的自适应强化学习异常检测方法

Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference

Xiangwei Chen, Ruliang Xiaoa, Zhixia Zeng, Zhipeng Qiu, Shi Zhang...

TL;DR本研究提出了一个创新的反事实因果强化学习模型，称为 Tri-CRLAD，利用因果推断机制，显著提高半监督模型的性能，增强模型在面对未知或稀有数据时发现异常数据的能力，并通过三重决策支持机制进一步提升模型的灵活性和泛化能力，在包括卫星系统、医疗系统和健康系统在内的 7 个不同智能系统数据集中，Tri-CRLAD 的性能优于或等于 9 个基准方法，而且极少量的已知异常样本能够显著提高异常检测的稳定性。

Abstract

semi-supervised anomaly detection for guaranteeing the reliability of intelligent systems has received increasing attention. However, existing methods rely too much on data correlation and neglect causality, which can be misleading due to confounding factors and affect system reliabili

semi-supervised anomaly detection causal reinforcement learning counterfactual causal reinforcement learning triple decision support mechanism anomaly detection stability

发现论文，激发创造

朝向深度监督异常检测：从部分标记异常数据中强化学习

该论文提出了一个基于深度强化学习的方法来解决在只有有限的异常样本和大量无标注数据集的情况下进行异常检测的问题，该方法在自动交互式模拟环境中学习已知异常，并通过探索从而将学习到的异常扩展到未知异常，最终取得了比五种已有方法更好的实验效果。

Sep, 2020

因果协同并行强化学习

提出了一种用于数据共享和协调探索的新型算法框架，旨在在并发强化学习设置下学习更加数据高效和性能更好的策略，通过引入因果推断算法提取模型参数，并基于其相似度提出了一种新的数据共享方案，证明了在一组自回归、摆杆和倒立摆任务上具有更快学习速度，展示了在稀疏奖励环境下常规智能体之间多样化行动选择的有效性。

Jan, 2024

借助逆强化学习实现序列异常检测

该研究提出了一种基于逆强化学习的端到端框架来实现序列异常检测，使用神经网络表示奖励函数，并采用贝叶斯方法来构建可靠的异常检测方法。

Apr, 2020

因果强化学习调查

研究人员通过借鉴因果关系文献的见解，引入因果关系和强化学习，划分了现有 Causal Reinforcement Learning (CRL) 方法的两类，并分析了每一类的不同模型的形式化。

Feb, 2023

RUAD: 针对 HPC 系统的无监督异常检测

该研究提出了一种基于长短期记忆单元的 RUAD 模型来解决高性能计算系统中异常检测的无监督学习问题，该模型通过考虑数据中的时间依赖性显著提高了半监督和无监督状态下的 AUC 性能表现。

Aug, 2022

强韧性对抗性强化学习

提出了一种稳健性的敌对训练 (robust adversarial reinforcement learning, RARL) 方法，该方法将敌对训练与零和极小优化相结合，通过训练一个智能体，使其能够在真实系统上的杂乱因素和不确定性下操作，并在多种环境中进行了验证。

Mar, 2017

面向监督的异常检测

本研究提出了一种基于半监督学习和主动学习的异常检测算法，能够在数据标记要求较高的情况下，大大减少数据标记量，提高检测精度，适用于网络入侵检测等领域。

Jan, 2014

通过 DQN 进行半监督学习的日志异常检测

本文提出了一种名为 DQNLog 的半监督日志异常检测方法，它结合了来自深度强化学习的 DQN 算法，通过有效地利用少量标记数据和大规模未标记数据集，解决了数据不平衡和标记不足的挑战，不仅可以学习已知异常，还可以主动探索未标记数据集以发现未知异常，并在深度强化学习中引入了交叉熵损失项以防止模型过高估计，通过对三个广泛使用的数据集的评估，证明 DQNLog 在提高召回率和 F1 分数的同时保持精确度，验证了其实用性。

Jan, 2024

基于时序因果发现的可解释在线无监督异常检测方法研究

利用因果发现学习系统的正常因果图，通过实时传感器数据的因果连接持久性评估来及时检测异常。在两个基准异常检测数据集上，我们的方法具有更高的训练效率，超越了最先进神经网络架构的准确性，并准确地识别了 10 种以上不同的异常。

Apr, 2024

用于因果发现的元强化学习算法

本文中提出了一种利用元强化学习算法，通过学习干预变量的方法来进行因果发现并构建明确的因果图的方法，研究表明与现有最先进的方法相比表现出的结果更好，揭示了这种干预策略对于该方法性能的贡献。

Jul, 2022