Jan, 2024

提供可靠的作业完成时间预测的研究

PDF
TL;DR为云用户提供工作完成时间预测，提出了 PCS 调度框架，通过配置 Weighted-Fair-Queueing 参数，达到预测性能与其他目标的平衡，实现 DNN 工作调度的准确完成时间估计。
job completion time predictionscloud scheduling systemspredictabilityweighted-fair-queueing (wfq)pcs
发现论文，激发创造
  • 基于预测的调度与错误预测的代价

    该文研究了在服务时间不确定且使用机器学习算法进行预测时的作业调度，提出了几个策略的性能公式，并引入了 “错误预测的代价” 框架来度量使用预测信息的成本。

    Feb, 2019

  • 数据科学的真实性

    通过数据科学中的可预测性、可计算性和稳定性框架，结合人类的判断，提供可靠、可重现的数据科学研究，通过案例论证了该框架在神经科学和基因组学等领域的实际应用和稳定性分析的优势。

    Jan, 2019

  • 具有不确定加工时间的流程时间调度

    本文提出了一种在线调度算法，可以在不知道任务精确处理时间的情况下解决加权流时间问题，并且可以通过给定的预测时间匹配知名度与权重关系，算法具有鲁棒性。

    Mar, 2021

  • 基于聚类调度的多目标云多工作流公平优化

    该篇论文提出一种基于 makespan、cost 和 fairness 的多目标优化模型和全局聚类多工作流调度策略用于资源分配，实验结果表明该方法在维持整体 makespan 和 cost 的同时也达到了个体公平性，可为云上模拟工作流调度提供指导。

    May, 2022

  • 基于人工智能的排队系统的设计和调度

    基于预测模型的最优调度决策在服务系统中的关键是理解预测误差对其他作业的延迟产生的外部性对拥塞的影响。我们在应用中考虑了预测模型与人类服务器交互的情况（例如内容审查），设计了一个基于指标的策略，以近乎最优的方式结合了预测的类别信息，通过对重负载下拥塞成本的特征化来指导预测模型的设计，并针对基于人工智能的任务划分设计了一种新颖的排队系统。我们以实际在线评论为基础，通过微调大型语言模型构建鉴别有毒性的分类器，展示了我们的框架。

    Jun, 2024

  • HPC 系统中的在线作业失败预测

    通过使用机器学习算法和自然语言处理工具，在高性能计算系统的工作负载层面预测作业失败，以优化系统管理。

    Jun, 2023

  • PREMA：一种用于可抢占神经处理单元的预测性多任务调度算法

    本篇研究提出了一种利用可抢占神经处理单元（NPU）和预测性多任务调度器满足高优先级推理的延迟需求，同时保持高吞吐率的方法，通过评估可使 NPU 可抢占的机制和利用它们实现调度目标的策略，表明采用可抢占 NPU 多任务处理技术可以实现平均 7.8 倍、1.4 倍和 4.8 倍的延迟、吞吐量和 SLA 满意度的提高。

    Sep, 2019

  • SkipPredict：何时投资于调度预测

    通过考虑预测作业大小的调度近期研究工作，在排队系统中探究了预测成本对调度系统的影响，提出了一种针对预测成本的新型方法 SkipPredict，通过分类作业的预测需求来进行预测，分别在短作业和长作业上进行预测，并分析了考虑成本的预测对两种模型的影响。

    Feb, 2024

  • 网络敏感深度学习的 GPU 集群调度

    我们提出了一种新颖的 GPU 集群调度器，用于分布式深度学习工作负载，基于 DDL 作业对预期通信网络延迟的敏感性实现了基于邻近性的资源整合，通过经典的延迟调度算法来实现作业的放置和整合，使用数据驱动的 DDL 集群模拟平台进行了大规模实验，证明了我们设计的优势。在拥挤的网络条件下，与现有的基于整合的调度方法相比，我们的调度器可以提供多达 69% 的端到端完成时间的改进，同时将平均作业完成时间降低多达 83%，并将通信开销最小化多达 98%。

    Jan, 2024

  • 云计算中的不确定性意识工作负载预测

    本文使用贝叶斯深度学习模型预测未来云计算资源需求的分布和不确定性，并通过多组数据集进行不同的预训练和微调，比较单变量和双变量模型的精确度和对 QoS 的影响，并检验了模型的迁移学习能力和在真实环境中的可部署性。

    Feb, 2023