Feb, 2024

开发端到端异常检测系统

PDF
TL;DR我们提出了一个端到端的异常检测模型开发流程，通过消耗用户反馈并进行持续的用户中心模型性能评估和优化，以解决网络中恶意和非恶意事件引发异常的模式确定困难和标记数据缺失的问题。我们通过引入和基准测试一种名为 Lachesis 的新型预测模型，在现实世界的网络问题上展示了该框架的效力。实验结果表明，与文献中提出的其他模型相比，我们提出的两个版本的 Lachesis 具有鲁棒性和有效性。我们的研究强调了通过用户反馈和迭代式开发在数据驱动产品的整个生命周期中提高性能的潜力。
anomaly detectionintelligent alerting systemsend-to-end model development pipelinelachesisuser feedback
发现论文，激发创造
  • 智能警报生成的混合方法

    本文提出了一种混合模型用于警报系统，该模型将统计模型与白名单机制相结合，以解决大规模网络系统中可伸缩性、数据异构性、可泛化性和可维护性的挑战，从而减少假阳性警报。

    Jun, 2023

  • 基于统计学习的云自动异常检测

    研究开发了两种新的统计技术，用于自动检测云基础架构数据中的异常，采用季节性分解和鲁棒统计度量，有效实现在季节性高峰存在的情况下的异常检测。从容量规划，用户行为和监督学习三个方面证明了所提出技术的有效性。

    Apr, 2017

  • 大数据分析和分布式深度学习用于下一代入侵检测系统优化

    本文介绍了一种基于深度循环神经网络技术和 Apache Spark 框架，实现了对流量异常检测的网络安全解决方案，具有更高的检测率和更低的误报率，可以检测集体和上下文安全攻击。该方法合并了语言处理、上下文分析、分布式深度学习、大数据和流量分析的概念，并在 MAWI 数据集上进行实验，结果表明，该方法不仅优于签名 IDS 和传统异常 IDS，在点异常检测方面表现更好，并有望在未来进一步证明其可靠性。

    Sep, 2022

  • 预测网络监控 -- 利用机器学习和数据分析进行网络攻击的推测研究

    利用机器学习和数据挖掘技术增强网络安全，本文提出了一种新的技术，基于多个数据参数预测网络中即将发生的攻击，通过测试阶段的结果选择最佳模型，并提取可能导致攻击的事件类别。

    Dec, 2023

  • 一种用于入侵检测的混合深度学习异常检测框架

    本论文提出了一个基于深度学习异常检测的网络入侵攻击检测框架，该框架结合了无监督、半监督和监督学习算法，同时在 NSL-KDD、CIC-IDS2018 和 TON_IoT 等三个基准数据集上验证了其性能。

    Dec, 2022

  • Rare Yet Popular: 基于标记数据集的网络异常检测证据和影响

    本文针对网络环境下的异常检测问题，通过系统分析已有的公共和私有基准数据，探索了其时态性、多变量性和空间属性特征，并提出了基于聚类的简化标注方法，实验结果为 2-10 倍。

    Nov, 2022

  • 使用偏差网络进行深度异常检测

    本文提出了一种新颖的异常检测框架，利用少量标注的异常数据和先验概率，通过神经偏差学习完成异常得分的端到端学习，相比现有方法更高效地使用数据，并取得了显著更好的异常得分结果。

    Nov, 2019

  • 动态过程限制的实时离群值检测

    本文提出了一种基于逆累积分布的在线异常检测算法，用于现有实时基础设施中低延迟检测，适用于不可预测的数据模式，并在两个实际微电网操作数据案例中展示了易于使用、快速计算和可部署的优势。

    Jan, 2023

  • 基于深度学习的物联网网络流量分析

    使用深度学习算法和无监督学习技术来监测和检测 IoT 网络中的异常，并在 KDD Cup 99 数据集上实施了一个模型，实验结果展示了异常检测模型的出色性能，达到了超过 98% 的准确率。

    Feb, 2024

  • 可信异常检测：一项调查

    本文简要综述了现有的工作，并从解释性、公平性、鲁棒性和隐私保护的角度讨论了可信的异常检测的开放问题。

    Feb, 2022