基于Mondrian拟合预测器的企业级磁盘清洗
本文介绍了一种名为Adaptive Balanced Capacity Scaling (ABCS)的算法,该算法能够通过使用基于机器学习的预测来适应并减小数据中心的能耗和交换成本,同时保持足够的预测精度和竞争比率,相关的实验结果也证明了该算法的有效性。
Jan, 2021
大型科学合作通常会有多位科学家在进行不同的分析时访问相同的文件集,这会导致对位于远处的共享数据的重复访问。为了减少广域网流量和数据访问延迟,已经安装了区域性数据存储缓存作为一项新的网络服务。通过对南加州的拍字节级缓存进行研究,我们展示了这个缓存系统能够从广域网中减少67.6%的文件请求,并平均每天减少广域网流量量级的12.3TB(或35.4%)。这个缓存系统还实施了一种策略,在处理大文件时避免清除较小的文件。我们还构建了一个机器学习模型来研究缓存行为的可预测性。测试结果显示,该模型能够准确预测缓存访问、缓存未命中和网络吞吐量,使该模型在未来的资源规划和规划研究中非常有用。
Jul, 2023
云计算和大数据技术的快速发展使得存储系统成为数据中心的基础构件,尽管设计和实现可靠的存储系统仍然具有挑战性,但通过预测性预测可以加强存储系统的可靠性,我们对机器学习在存储系统中的应用进行了调查,讨论了各种机制和实地研究,评估了每项研究工作的优势和局限性。
Jul, 2023
本研究提出了一个名为SHIELD的混合工作负载管理框架,利用机器学习引导的局部搜索和基于分解的进化算法来共同优化地理分布数据中心的碳排放、水足迹和能源成本,实现了34.4倍的加速比、2.1倍的帕累托超体积改进,并将碳足迹最多减少3.7倍、水足迹最多减少1.8倍、能源成本最多减少1.3倍,与现有技术相比,所有目标(碳、水、成本)的累积改进最多可达到4.8倍。
Aug, 2023
提出了一种新颖的基于Transformer架构的TFBEST(Temporal-fusion Bi-encoder Self-attention Transformer)方法用于预测硬盘故障,通过增强从健康统计序列中获得的上下文信息,预测磁盘潜在故障前剩余天数,并提供了一种新颖的置信边界统计,可帮助制造商在规定时间内更换硬盘。经实验证明,TFBEST架构在预测硬盘剩余寿命上显著优于现有方法,且适用于其他预测应用和相关回归问题。
Sep, 2023
本文提出了一种新的方法来预测硬盘故障,通过利用多层领域自适应学习技术,在选择了具有众多故障的硬盘数据作为源域和少量故障的数据作为目标域的前提下,进行特征提取网络的训练,从而实现从源域到目标域的诊断知识转移。实验结果表明,该方法可以生成可靠的预测模型,并提高对少量故障样本硬盘数据的故障预测能力。
Oct, 2023
研究使用离线采样的DiskGNN系统,在训练大规模图神经网络时达到高的I/O效率和快速训练,同时保持模型的准确性。与其他现有系统相比,DiskGNN能够将性能提高8倍以上,并且具有相同的模型精确度。
May, 2024
本研究针对盘-行星系统参数推断中的数据缺失和噪声问题,提出了Disk2Planet,这是一种基于机器学习的工具,能够自动化地从观测到的原行星盘结构中推断关键参数。研究表明,Disk2Planet可以在三分钟内提供高达百分之一的准确性,显著提高了盘-行星相互作用的理解和分析效率。
Sep, 2024