Sparse-DySta: 稀疏多 DNN 工作负载的稀疏感知动态和静态调度

Oct, 2023

Sparse-DySta: 稀疏多 DNN 工作负载的稀疏感知动态和静态调度

Sparse-DySta: Sparsity-Aware Dynamic and Static Scheduling for Sparse Multi-DNN Workloads

Hongxiang Fan, Stylianos I. Venieris, Alexandros Kouris, Nicholas D. Lane

TL;DR本文系统分析了多个稀疏深度神经网络的使用情况并研究了优化的机会，基于这些研究结果，我们提出了 Dysta，这是一种利用静态和动态稀疏信息进行稀疏多深度神经网络调度的新型双层动态和静态调度器。我们构建了一个公共基准，其中包含了跨移动电话、AR/VR 可穿戴设备和数据中心的不同部署情景的稀疏多深度神经网络工作负载。对稀疏多深度神经网络基准的全面评估表明我们提出的方法在满足延迟限制方面的违规率减少了 10% 左右，并且平均归一化周转时间减少了近 4 倍。我们的工件和代码可公开获取。

Abstract

Running multiple deep neural networks (DNNs) in parallel has become an emerging workload in both edge devices, such as mobile phones where multiple tasks serve a single user for daily activities, and data centers, where various requests are raised from millions of users, as seen with l

deep neural networks sparsification approaches sparse multi-dnn workloads scheduler public benchmark

发现论文，激发创造

DynST: 资源受限时空预测的动态稀疏训练

本研究首次提出了一个称为 DynST 的行业级部署优化概念，采用动态稀疏训练和传感器部署来优化地球科学中的数据级别，通过迭代剪枝和稀疏训练，动态去除对未来预测贡献最小的传感器感知区域。

Mar, 2024

DynaST：用于范例引导图像生成的动态稀疏转换器

通过引入动态稀疏注意力机制的 Transformer 模型，本文提出了一种对样本指导图像生成进行 fine-level 匹配的方法，旨在提升匹配效果与计算效率。该方法在有监督和无监督场景下均可生成视觉上令人满意的图像，并在人物姿势生成、人脸细节合成和图像样式迁移等应用上表现出了显著的优越性。

Jul, 2022

结构稀疏动态稀疏训练

本研究提出了一种基于 DST 方法的 N:M 结构稀疏化学习方案，其具有较高的稀疏度并支持常见的硬件加速方式，在理论和实践中都表现出较好的泛化性能与较低的推理时间。

May, 2023

动态稀疏是通道级稀疏的学习器

本文提出 Channel-aware dynamic sparse (Chase) 方法：将 unstructured dynamic sparsity 转变为 GPU-friendly channel-level sparsity 加速 inference，通过逐渐去除 biased parameter reallocation across channels，不损失准确率地实现了 1.7 X inference throughput speedup on common GPU devices with ResNet-50 on ImageNet。

May, 2023

自动语音识别的动态稀疏神经网络

本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。

May, 2020

高效深度学习的动态稀疏图

本文提出了一种通过动态和稀疏的图结构来执行深度神经网络（DNNs）进行压缩存储和加速执行的方法，该方法在训练和推断时均可应用，以优化深度神经网络的轻量化模型。实验证明该方法可以显著提供存储和操作的性能，并在各种基准测试中几乎无损失地维护准确性。

Oct, 2018

移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

保持最优梯度稀疏化成本的可扩展分布式深度学习

ExDyna 是一种新颖的梯度稀疏化方案，通过将模型的梯度张量分为细粒度的块并将连续的块分组成不重叠的分区，实现了减少通信开销、平衡工作负载和在线阈值调整，从而提高分布式训练系统的可扩展性和稀疏化性能。

Feb, 2024

动态稀疏训练：通过可训练掩码层从头开始找出高效的稀疏网络

本文介绍了一种新的神经网络剪枝算法 ——Dynamic Sparse Training，它可以通过可训练的剪枝门限实现优化神经网络参数和结构，并通过反向传播动态地进行精细化调整。利用这一算法，我们可以轻松训练出效果优秀的稀疏神经网络。与其他稀疏训练算法相比，Dynamic Sparse Training 在多个网络架构上取得了业界领先水平。此外，我们还发现了传统三阶段剪枝算法的潜在问题，为更紧凑的神经网络架构设计提供了理论指导。

May, 2020

神奇的权重及其搜索方法：如何在动态稀疏训练中进行裁剪

本论文主要研究动态稀疏训练中修剪准则的影响，发现在低密度环境下，最优性能主要取决于最简单的技术：基于大小的修剪。

Jun, 2023