Aug, 2023

使用 Darshan 日志进行高性能计算机集群的 I/O 突发预测

PDF
TL;DR研究了大规模 HPC 集群的集群级 I/O 模式的理解对于减少 I/O 干扰的发生和影响至关重要。通过分析三个超级计算机的 Darshan 报告，提取了系统级读写 I/O 速率在五分钟间隔内的显著波动，并训练机器学习模型预测系统级 I/O 突发事件，准确率超过 90％，并通过模拟脱机 I/O 操作、暂停非关键应用和设计 I/O 感知作业调度方法等方式验证了这一预测的可行性，结果显示，对 I/O 突发程度的估计能够使应用程序运行时间减少最多 5 倍。
cluster-wide i/o patternsi/o interferencesystem-level read and write i/o ratesmachine learning modelsi/o bursts
发现论文，激发创造
  • 高性能计算系统上机器学习应用中的 I/O：全方位调查

    通过对高性能计算系统中机器学习应用的 I/O 进行研究，本文在 2019 年至 2024 年的 6 年时间窗口内，概述了机器学习的常见阶段，评估了可用的分析工具和基准测试，探讨了机器学习训练过程中遇到的 I/O 模式，研究了现代机器学习框架中使用的 I/O 优化方法并提出了未来的研究方向和需要进一步探索的问题。

    Apr, 2024

  • TensorFlow 中深度学习 I/O 工作负载的表征

    本文旨在研究 DL 计算框架中 I/O 对性能的影响并通过设计微型基准测试和使用 AlexNet 等来测量 TensorFlow 的 I/O 性能和检查点成本，在此基础上，提出了一种使用突发缓冲区进行检查点的设计，最终发现增加线程数量可以最多将 TensorFlow 带宽提高 2.3 倍，在 CPU 上增加使用 prefetcher 可以完全消除 I/O 对于整体性能的负面影响，并且在基准测试环境中使用突发缓冲区进行检查点可以使性能提高 2.6 倍。

    Oct, 2018

  • 朝可学习的存储系统可预测性

    云计算和大数据技术的快速发展使得存储系统成为数据中心的基础构件，尽管设计和实现可靠的存储系统仍然具有挑战性，但通过预测性预测可以加强存储系统的可靠性，我们对机器学习在存储系统中的应用进行了调查，讨论了各种机制和实地研究，评估了每项研究工作的优势和局限性。

    Jul, 2023

  • 分布式机器学习流量的突发性分析

    研究了分布式机器学习模型的网络流量特征和短期爆发性，发现分布式机器学习流量在短时间尺度上有很高的爆发性，研究了不同时间尺度上的流量爆发性度量，并揭示了分布式机器学习流量对拥塞和流量控制算法的挑战。

    Dec, 2023

  • 利用生成模型进行数据存储系统性能建模

    利用机器学习基于生成模型为基础的高精度模拟方法来开发储存系统的模型，并提供了新的数据集来进行性能基准测试和不确定性估计方法的研究。

    Jul, 2023

  • 云上关键事件预测的分布式分层局部敏感哈希

    本文介绍了一个用于医疗波形数据的快速相似性预测的分布式系统，它基于层次敏感哈希技术，针对云环境进行了优化，在保证延迟的同时实现了较快的处理速度，并将其应用于急性低血压事件的预测上，取得了较好的效果。

    Dec, 2017

  • 高效的计算与内存使用策略的强韧预测分析

    在当前的数据密集时代，大数据已成为人工智能（AI）的重要资产，为开发基于数据驱动模型和揭示各个未知领域提供基础。本研究通过应用 Robust Principal Component Analysis（RPCA）进行噪声降低和异常值剔除，以及应用 Optimal Sensor Placement（OSP）进行数据压缩和存储，解决数据不确定性、存储限制和数据驱动模型预测的挑战。通过此方法，从 OSP 获得的低维子集基于 Long Short-Term Memory（LSTM）网络进行模型和数据预测，加快训练阶段，适用于实时海量数据集的鲁棒数据驱动建模，特别适合用于基于历史数据预测物理系统的未来状态。所有提出的算法不仅是理论上的，还使用真实热成像数据对船舶发动机进行模拟和验证。

    Mar, 2024

  • 大规模机器类通信中的 RACH 流量预测

    通过使用机器学习网络，本文针对多信道随机接入网络中的突发流量，提出了一种轻量级灵活的框架，并通过在线预测算法实时更新网络状态，实现了对突发流量的准确预测，提高了长期预测精度达到 52%。

    May, 2024

  • 大型医院网络患者预后预测改善运营

    本研究使用机器学习算法基于患者数据预测患者短期和长期预后，以及病人的出院去向等重要临床结果，帮助医疗团队提升决策质量并实现有效的医院管理。实施该工具后平均每位患者住院时间减少了 0.67 天，每年可为医疗系统创造高达 5500 万至 7200 万美元的经济效益。

    May, 2023

  • 粒子加速器中时间序列分类和预测的新方法

    利用时间序列分类方法对高强度质子加速器的中断事件进行预测，通过二元分类多元时间序列的窗口来减少光束时间损失。通过将时间序列转换为复现图并使用卷积神经网络进行分类，使得分类器的性能得到了提高。最佳分类器的 ROC 曲线下面积值为 0.71，相对于随机森林模型的 0.65，可以潜在地减少每次中断 0.5 秒的光束时间损失。

    Feb, 2021