基于模拟退火的 DNN 加速器循环顺序调度器 SALSA

Apr, 2023

基于模拟退火的 DNN 加速器循环顺序调度器 SALSA

SALSA: Simulated Annealing based Loop-Ordering Scheduler for DNN Accelerators

Victor J.B. Jung, Arne Symons, Linyan Mei, Marian Verhelst, Luca Benini

TL;DR本研究提出了一种名为 SALSA 的快速双引擎调度程序，以支持 DNNs 的最优执行时间，并结合模拟退火的策略解决了循环排序设计空间大小的动态性问题。SALSA 在 5 种不同的 DNN 上与两个 SotA 调度器 LOMA 和 Timeloop 进行了广泛的基准测试，平均而言，与 LOMA 相比，SALSA 的能源降低了 11.9％，搜索速度提高了 1.7 倍，与 Timeloop 相比能源降低了 7.6％，搜索速度提高了 24 倍。

Abstract

To meet the growing need for computational power for dnns, multiple specialized hardware architectures have been proposed. Each DNN layer should be mapped onto the hardware with the most efficient schedule, howev

dnns specialized hardware architectures salsa schedulers simulated annealing

发现论文，激发创造

使用 Halide 调度语言分析 DNN 加速器

通过利用 Halide 的调度语言创建修改编译器以生成硬件，此研究研究了 DNN 加速器和它们的程序映射，并对现有的 DNN 加速器进行了形式上的分类，通过优化硬件资源分配，在保持吞吐量不变的情况下，可以取得 1.6~4.2 倍的能效提升。

Sep, 2018

SALO: 一种高效的空间加速器，支持长序列的混合稀疏注意机制

本文提出了一种名为 SALO 的加速器，能够使得 Transformer 等注意力机制在处理长序列时具有更好的性能，并通过实验证明 SALO 相比于典型工作负载下的 GPU 和 CPU 实现，分别具有 17.66 倍和 89.33 倍的加速比。

Jun, 2022

为减少 DNN 加速器的片外数据访问而结合调度、内存分配和张量替换

通过一个名为 COSMA 的优化框架，我们能够在专用硬件加速器上为 DNNs 找到最佳的操作调度、内存分配和张量替换方式，从而最小化额外数据访问，同时通过分而治之的启发式方法可以将复杂 DNNs 的数据访问降低 85% 以上。

Nov, 2023

基于深度强化学习的深度神经网络多租户多加速器系统的在线调度策略

当前，云服务外包 DNNs 的趋势日益增长。本文介绍了一种针对多租户环境中 DNNs 在线调度的低开销深度强化学习算法 RELMAS，考虑了加速器的数据流异构性和内存带宽竞争问题，提高了服务提供商的硬件利用率并优化了服务水平协议满意率。在包含 Simba 和 Eyeriss 子加速器实例的多异构加速器系统上，与最先进的调度技术相比，在不同工作负载场景下，SLA 满意率提高了 173％，能源开销仅增加了不到 1.5％。

Apr, 2024

统计自适应随机梯度方法

提出一种名为 SALSA 的统计自适应程序，用于自动调整随机梯度方法中的学习率（步长），该方法使用平滑的随机线性搜索程序逐渐增加学习率，然后自动转换为一个新的统计方法来降低学习率，它在广泛的随机梯度算法中使用了一个新的统计测试来检测状态，能够适应多类深度学习任务。

Feb, 2020

面向 DNN 推理的多加速器平台的精度感知延迟和能耗平衡

该研究提出 ODiMO，是一种硬件感知工具，用于精细映射芯片上的不同加速器，以并行执行 DNN 的不同层，从而降低推理能量消耗或延迟。在三个流行的数据集 / DNN 对上追求在精度与能量或延迟空间中 Pareto 最优网络，在 DIANA 异构超低功耗边缘 AI SoC 上部署后，ODiMO 将能量 / 延迟降低了 33％/31％，而精度下降有限（-0.53％/-0.32％），与手动启发式映射相比。

Jun, 2023

基于改进的鲲鸟群算法的云空间职责调度

云计算和任务调度算法的研究，使用遗传算法、颗粒群优化、蚁群优化以及扩展改进的 Salp Swarm Algorithm 进行比较。研究结果表明，提出的算法性能普遍优于其他算法，如与基本的 Salp Swarm Algorithm 相比，平均减少近 21% 的执行时间。

Sep, 2023

神经异构调度器

本研究使用深度强化学习技术，提出了一种方法，在具备多种协处理器的异构 SoC 系统中智能地调度和学习任务流，实验结果表明，相比于传统的调度启发式算法，我们的强化学习系统在最小化执行时间方面提供了更好的选择。

Jun, 2019

系统级芯片的深度强化学习：神话与现实

通过与非神经、启发式任务调度器的比较，本文通过广泛实验研究和深度强化学习探究了基于 DRL 的神经调度器在 SoC 资源分配领域的实现可能性，并提出了 Eclectic Interaction Matching 技术以改进现有的神经调度器

Jul, 2022

Tessel：通过灵活的调度搜索提升大型 DNN 模型的分布式执行

Tessel 是一个自动化系统，通过搜索高效的分布式深度神经网络训练和推理的调度，为不同的运算符放置策略实现了性能优化，从而显著提高了训练和推理的性能。

Nov, 2023