Dec, 2023

基于 KPI 的高性能计算数据中心作业聚类的无监督方法

PDF
TL;DR高性能计算系统中的性能分析是一项重要任务，本文主要贡献是识别出最适合于根据高性能计算系统中作业行为对其进行分类的度量标准，并验证了网络流量监测相关的度量标准与层次聚类算法在此任务中的适用性。
performance analysishigh-performance computingkpisclustering techniquesnetwork traffic
发现论文，激发创造
  • 基于 KPI 的高性能计算作业的聚类与可视化：一种特征降维方法

    该研究论文介绍了一种基于 KPI 指标的高性能计算任务聚类方法，并结合主成分分析技术对结果进行可视化分析，通过对 CPU 使用率进行聚类分析得出了较好的结果。

    Dec, 2023

  • MTAD：多元时间序列异常检测工具与基准

    通过综述与评估 12 种最先进的 KPI 异常检测方法并提出了一种新的评估指标 “显著性”，该研究为未来的学术研究与工业应用提供了基础。

    Jan, 2024

  • 电信网络 KPI 时间序列异常分类

    本文提出了一个模块化的异常分类框架，用于自动检测和分类电信网络中的异常，研究采用时间序列模拟器生成真实网络 KPI 行为的合成时间序列，构建检测模型和分类模型，并验证了在真实网络时间序列数据中应用合成异常上训练的分类模型的良好性能。

    Aug, 2023

  • HPC 系统中的在线作业失败预测

    通过使用机器学习算法和自然语言处理工具，在高性能计算系统的工作负载层面预测作业失败，以优化系统管理。

    Jun, 2023

  • KPI 异常检测的自适应阈值启发法

    本文提出了一种自适应阈值启发式方法（ATH），用于根据数据分布的本地特性动态调整检测阈值，以适应时间序列模式的变化，并通过期望的周期性和观察到的异常比例来计算阈值，以在时间序列 KPI 的异常检测中减少误判和处理概念漂移。实验结果表明，ATH 计算效率高，适用于准实时异常检测，并可与多个预测器和异常检测器灵活配合使用。

    Aug, 2023

  • 群体智能在数据聚类机制中的作用

    本文回顾了最新的数据聚类方法，包括传统算法 K-means 的局限性以及 Swarm-based 算法如何解决大数据集聚类的问题，并比较它们哪个适合特定的实际问题。

    May, 2023

  • 使用机器学习技术估计高性能计算应用程序的数据分区块大小

    使用监督学习技术对 HPC 应用程序中数据块大小进行估算的方法在 dislib 上进行实现并进行评估，实验结果表明该方法能够有效地确定给定数据集的拆分方法，从而在高性能环境中实现数据并行应用程序的高效执行。

    Nov, 2022

  • 基于 OPTICS 的无监督学习方法用于终端空气处理单元的故障检测

    基于 AI 分类技术的智能建筑系统中，研究了一种无监督学习策略以检测终端空气处理单元及其相关系统中的故障。使用主成分分析对历史传感器数据进行预处理，并与 k-means 进行对比。结果表明，优于 k-means 的 OPTICS 在准确性上在各个季节中保持一致，并且具有可视化功能。然而，PCA 的降维可能会导致丢失关键信息，从而在复杂故障情况下可能产生一些无法识别的聚类。

    Dec, 2023

  • 针对大数据的 K-means 优化：一项比较研究

    本文比较分析了大数据背景下 K-means 算法的不同优化技术。通过并行化、逼近和采样方法等不同方法，探讨了克服大数据规模问题的不同途径。通过使用不同基准数据集评估了这些技术的性能，并根据 LIMA 支配准则在速度、聚类质量和可扩展性方面进行比较。结果表明，不同的技术适用于不同类型的数据集，并提供了关于 K-means 大数据聚类中速度和准确性之间权衡的见解。总体而言，本文为从业者和研究人员提供了如何优化大数据应用中的 K-means 的全面指南。

    Oct, 2023

  • 高性能计算工作负载中社交影响的分析与建模

    本文研究了高性能计算中用户之间的社会影响，发现其存在社会图谱和力图建立一个可以快速识别社会关系并有效跟踪时间演化的在线学习算法。

    Oct, 2016