Jan, 2024

大规模公共卫生数据流中的异常值排名

PDF
TL;DR基于大规模公共卫生数据流，我们提出了一种新的算法任务，利用层次网络和极值分析，对任意单变量方法在每个流中的输出进行排名，以帮助专家区分最重要的离群值。通过公共卫生数据流的人工专家评估，我们的新算法在传统的离群值检测指标上表现最佳。自 2023 年 4 月以来，专家已开始使用我们的开源 Python 实现，汇报比之前的基准快 9.1 倍找到值得调查的离群值。其他组织可以轻松采用这个实现，从他们量身定制的单变量方法的输出中创建排名。
disease control expertsoutliersdata quality issuesdisease outbreaksunivariate outlier detection methods
发现论文，激发创造
  • 公共卫生数据流的计算辅助质量控制

    为了更好地检测公共卫生数据中的异常数据点并为公共卫生决策提供支持，我们开发了 FlaSH 框架（Flagging Streams in public Health），该框架可以处理公共卫生数据的统计属性和数据量，具有良好的异常检测效果并被广泛用于公共卫生数据的处理和分析。

    Jun, 2023

  • 高维数据的异常检测

    本文提出了一种名为 stray 的算法，使用基于极值理论的方法计算异常值阈值，针对 HDoutliers 算法的局限性进行改进，可以在准确性和计算时间上优于 HDoutliers 算法，对于数据结构中存在的异常值，使用特征工程进行检测，已在开源 R 包 stray 中实现。

    Aug, 2019

  • 金融和医疗领域的增量异常检测建模：基于流式分析的方法

    本文研究了流媒体数据中的离群值检测问题，重点探讨了基于支持向量机、孤立森林、角度、局部离群因子和网络的常见检测方法在金融和医疗领域的应用。结果表明，孤立森林自适应滑动窗口方法是最有效的策略之一，尤其针对高度不平衡的数据集。

    May, 2023

  • Rare Yet Popular: 基于标记数据集的网络异常检测证据和影响

    本文针对网络环境下的异常检测问题，通过系统分析已有的公共和私有基准数据，探索了其时态性、多变量性和空间属性特征，并提出了基于聚类的简化标注方法，实验结果为 2-10 倍。

    Nov, 2022

  • 无监督异常检测算法的大规模评估揭示

    本文综合研究了 12 个最流行的无监督异常检测方法，发现它们被评估时使用了不一致的协议，因此定义了一致的评估协议并用于比较它们在五个广泛使用的表格式数据集上的性能。尽管评估不能确定一种方法在所有数据集上优于其他方法，但它识别出那些突出表现的方法并修正了关于它们相对性能的错误认识。

    Apr, 2022

  • 一个用于探索大数据的系统：迭代 k-means searchlight 在公开的健康数据上进行离群点检测

    系统使用迭代 K-means 聚类算法，并结合 Subset Scan Technique 技术，在分析纽约州开放的医疗保健数据中找出包括某些医院成本溢出和自杀病例增加等异常趋势，并得出了新的研究结果，对监管机构、决策者和关注公民具有潜在的作用。

    Apr, 2023

  • 高维网络流量数据中变点的检测和定位

    本文提出了一种称为 TopRank 的新颖有效的方法，用于在高维数据中检测变化点，该方法基于数据降维和基于 U 统计量的非参数变化点检测测试，该方法可应用于网络安全领域的异常检测和定位，并在现实的网络数据上进行了验证。

    Aug, 2009

  • 多变量数据流的实时异常检测

    本文提出了基于概率指数加权移动平均（PEWMA）的实时多元异常检测算法，能够在数据流中对 (突发瞬态、突发分布和渐变分布) 的数据漂移具有鲁棒性，且无需标记样本，能够有效检测概念漂移。

    Sep, 2022

  • 基于真实数据的流式学习算法基准测试挑战

    本文提出了一个用于挑战流算法的公共数据存储库，其中包含来自文献的最受欢迎的数据集和与公共健康问题有关的新数据集，旨在缓解涉及流分类器和漂移检测器的实验性评估中的数据集选择问题，并对数据分布中不同类型变化及其导致的原因和问题进行了深入的讨论。

    Apr, 2020

  • 分布式聚类与异常检测的实用算法

    本文提出了一种基于简要构建的数据摘要的分布式无监督学习算法，对异常点的全局识别有很好的近似保证，并在真实和人工数据上超过了所有基线算法。

    May, 2018