神经异构调度器
通过与非神经、启发式任务调度器的比较,本文通过广泛实验研究和深度强化学习探究了基于 DRL 的神经调度器在 SoC 资源分配领域的实现可能性,并提出了 Eclectic Interaction Matching 技术以改进现有的神经调度器
Jul, 2022
提出了一种基于模糊神经网络(FNN)及 NSGA-II 进化多目标算法的在线任务调度和映射方法,以共同优化异构 MPSoC 的主要设计挑战。通过实验验证,该方法优于相关启发式和元启发式方法,可以提高温度,功耗,故障率和执行时间等几个设计指标的优化性能。
Mar, 2022
通过实验我们的框架在 4 芯片系统上对 GPT-2 和 ResNet-50 模型的使用,相较于优化输出固定数据流的整体加速器,吞吐量和能效分别提高了 2.2 倍和 1.9 倍。
Dec, 2023
通过开发系统级领域特定 SoC 仿真框架,具有加速常用核心的处理元素并实现动态资源管理,促进异构 SoC 的利用,优化功率性能。该框架的优化潜能得以释放,可广泛应用于无线通讯和雷达处理等多个领域,并以开源软件的方式分享,激发相关领域的研究。
Mar, 2020
本文介绍了用于系统性能并行异构估计的一种新方法,并对 Zynq All-Programmable SoC 上的硬件 / 软件异构并行表现进行了评估。
Aug, 2015
本文研究异构科学工作流中异步任务执行的要求和性质,提出度量异步执行的定性好处的关键指标,并在 Summit 上进行的实验表明,使用异步执行可以大大提高性能.
Aug, 2022
最近的大规模语言模型等新型大规模混合模态工作负载大大增加了硬件的计算和内存需求。为了应对不断增长的需求,设计可扩展的硬件架构成为一个关键问题。在最近的解决方案中,基于 2.5D 硅互联器多芯片模块(MCM)的人工智能加速器已被广泛探索,由于其在低工程成本和可组合性方面具有显著优势。然而,以前的 MCM 加速器是基于具有固定数据流的同构架构,对于高度异构的多模型工作负载存在重大挑战,因为它们的工作负载适应性有限。因此,在本研究中,我们探索了采用异构数据流 MCM 人工智能加速器的机会。我们确定了在异构数据流 MCM 人工智能加速器上进行多模型工作负载调度是一个重要且具有挑战性的问题,由于其重要性和规模,即使在 6x6 芯片的单模型情况下,也达到 O(10 ^ 18)规模。我们开发了一组启发式方法来遍历巨大的调度空间,并将它们整理成具有高级技术(如芯片间流水线)的调度器。我们对十种多模型工作负载场景进行的评估(包括数据中心多租户和增强现实 / 虚拟现实应用)显示了我们方法的有效性,相比于同构基线,平均能减少 35.3% 和 31.4% 的能量 - 延迟产品(EDP)。
May, 2024
多边协作计算利用多个边缘的受限资源构建强大的资源池,带来了巨大的计算能力、响应时间改善和多样化的服务,但多边计算系统的资源组成和缺乏调度策略使其建模和协作变得尤为复杂。本文首先提出了一个系统级状态评估模型,用于屏蔽复杂的硬件配置并重新定义异构边缘的不同服务能力;其次,设计了一个整数线性规划模型,用于优化分配分布式到达的请求;最后,提出了一种基于学习的轻量级实时调度器 CoRaiS,该调度器将多边系统的实时状态和请求信息结合起来,通过策略网络调度请求,以最小化所有请求的响应时间。评估结果验证了 CoRaiS 能够实时做出高质量的调度决策,并可以推广到其他多边计算系统,无论系统规模如何。特性验证还证明 CoRaiS 成功学习了负载平衡、实时状态感知和异构性识别的调度能力。
Feb, 2024
本文在最小化数据中心网络中的工作调度时间方面进行了深入研究,提出了一种基于深度强化学习的改进方法并将其扩展到多个服务器群集,结果表明,相比于传统的资源分配算法,深度强化学习方法在各种复杂环境中有着出色的性能表现。
Nov, 2017
本文针对分布式机器学习系统的调度问题,使用参数服务器框架设计了一种在线算法,以最大化所有作业的整体效用,并在跟踪驱动模拟和实验测试中证明了其优越性。
Jan, 2018