Apr, 2023

一个用于探索大数据的系统：迭代 k-means searchlight 在公开的健康数据上进行离群点检测

PDF
TL;DR系统使用迭代 K-means 聚类算法，并结合 Subset Scan Technique 技术，在分析纽约州开放的医疗保健数据中找出包括某些医院成本溢出和自杀病例增加等异常趋势，并得出了新的研究结果，对监管机构、决策者和关注公民具有潜在的作用。
发现论文，激发创造
  • PIKS: 一种通过开放医疗数据为政策制定者识别可操作趋势的技术

    本文介绍了一种名为 PIKS 的高效异常检测技术，并将其应用于纽约和加州公共医疗保健数据集，以快速发现出现的趋势和异常情况，提高公共卫生政策的应对能力，并相较于现有的异常检测技术， PIKS 技术具有更少的超参数需要调整，因此具有更好的快速数据探索优势。

    Apr, 2023

  • 分布式聚类与异常检测的实用算法

    本文提出了一种基于简要构建的数据摘要的分布式无监督学习算法，对异常点的全局识别有很好的近似保证，并在真实和人工数据上超过了所有基线算法。

    May, 2018

  • 聚类的计算理论与半监督算法

    提出了一种计算理论和半监督聚类算法，将聚类定义为根据所选的聚类原则和度量方法获得数据分组，使每个组不包含异常值，所有其他示例被认为是边缘点，孤立的异常值、异常簇或未知簇。

    Jun, 2023

  • 轻量级多系统多元相互连接与差异发现

    该研究提出了一种轻量级的互连和差异发现机制（LIDD），用于识别多系统环境中的异常行为，通过多变量分析技术估计传感器之间的相似热图，并应用信息检索算法提供相关的多级互连和差异细节。在 CERN 的紧凑双曲线磁铁（CMS）实验的 Hadron Calorimeter 的读出系统上的实验验证了所提出方法的有效性，以符合预期的能量量能器互连配置聚类读出系统和传感器，同时捕获发散聚类中的异常行为并估计其根本原因。

    Apr, 2024

  • 高维数据的异常检测

    本文提出了一种名为 stray 的算法，使用基于极值理论的方法计算异常值阈值，针对 HDoutliers 算法的局限性进行改进，可以在准确性和计算时间上优于 HDoutliers 算法，对于数据结构中存在的异常值，使用特征工程进行检测，已在开源 R 包 stray 中实现。

    Aug, 2019

  • 网络中的异常聚集检测

    探测给定传感器网络中是否存在具有 “异常行为” 的传感器簇，涉及时间序列分析和泊松分布的聚类检测方法。

    Jan, 2010

  • 大规模公共卫生数据流中的异常值排名

    基于大规模公共卫生数据流，我们提出了一种新的算法任务，利用层次网络和极值分析，对任意单变量方法在每个流中的输出进行排名，以帮助专家区分最重要的离群值。通过公共卫生数据流的人工专家评估，我们的新算法在传统的离群值检测指标上表现最佳。自 2023 年 4 月以来，专家已开始使用我们的开源 Python 实现，汇报比之前的基准快 9.1 倍找到值得调查的离群值。其他组织可以轻松采用这个实现，从他们量身定制的单变量方法的输出中创建排名。

    Jan, 2024

  • 数据离群值的添加对 K 均值解决方案景观的演变及其分析的鲁棒聚类比较度量

    本研究使用能量景观方法探寻 $K$-means 算法中数据集异常值对其性能的影响，发现其代价函数表面会形成更窄的漏斗形态，每个漏斗之间会有一些不支持聚类的区域，而其中的浅漏斗则对应不同类型的聚类解决方案，而异常值的逐渐增多会导致漏斗内的路径变长以及准确性和成本函数之间的相关性降低。最后，本研究提出了一种新的聚类相似度测量方法，能够忽略异常值的影响，并在多异常值的数据集中进行了应用。

    Jun, 2023

  • 将聚类视为不适定问题：K-Means 算法实验

    本文研究了基于 KMeans 算法的聚类过程作为反问题的特殊情况，探索了通过主成分分析来改进聚类反问题质量的尝试，并比较了两种定量特征选择方法之间的关系。使用神经科学数据库中的功能性磁共振成像范例来验证结果。

    Nov, 2022

  • 从流形学习的角度重新思考 k-means

    该论文提出了一种基于流形学习和张量正则化的聚类算法，不同于传统的基于 k-means 的方法，该算法通过构建距离矩阵来直接检测数据簇，同时应用于多视图数据中，证明了其优越性能。

    May, 2023