机器学习模型的稀疏和不规则张量计算的硬件加速：调查和洞见

Jul, 2020

机器学习模型的稀疏和不规则张量计算的硬件加速：调查和洞见

Hardware Acceleration of Sparse and Irregular Tensor Computations of ML Models: A Survey and Insights

Shail Dave, Riyadh Baghdadi, Tony Nowatzki, Sasikanth Avancha, Aviral Shrivastava...

TL;DR本论文综述了利用稀疏度、大小缩减和张量量化压缩超参数化模型以提高 ML 模型效率的方法，并分析了在硬件加速器上加速处理的机会和挑战，其中包括加速器系统的增强模块以支持其高效计算、不同硬件设计和加速技术、可实现 DNN 的加速、结构化稀疏度如何提高存储效率和平衡计算以及在加速器上如何编译和映射具有稀疏张量的模型的设计趋势。

Abstract

machine learning (ML) models are widely used in many important domains. For efficiently processing these computational- and memory-intensive applications, tensors of these over-parameterized models are compressed by leveraging sparsity, size reduction, and quantization of tensors. Unst

machine learning sparse tensors hardware accelerators execution efficiency dnns

发现论文，激发创造

通过划分稀疏矩阵块提高无硬件支持的稀疏 DNN 模型加速

本文提出了一种算法 - 软件共同设计的剪枝方法，采用 “分块友好” 的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在 GPU 笔记本上成功地实现了 1.95 倍速度提升的优化效果。

Aug, 2020

加速稀疏深度神经网络

介绍了 NVIDIA Ampere GPU 架构中的稀疏张量核心 (Sparse Tensor Cores)，它们利用了 2:4 的稀疏模式，通过两倍的数学吞吐量加速了稠密矩阵单元，并提出了一种简单的工作流程以训练满足 2:4 稀疏模式和保持准确性的网络，从而在稀疏张量核心上实现精确模型的高效部署。

Apr, 2021

通过结构化稀疏张量分解对稀疏 DNN 加速进行抽象化

通过张量近似和结构分解的方法，该研究提出了一种软件框架（TASDER），以更好地支持硬件加速稀疏深度神经网络，并在能耗延迟乘积上平均提升了 83% 至 74%。

Mar, 2024

Tensor Cores 上高效的量化稀疏矩阵操作

提出了 Magicube，这是一个适用于低精度整数的高性能稀疏矩阵库，支持深度学习中的两个主要稀疏操作（SpMM 和 SDDMM）在 Tensor Cores 上的混合精度加速，实验结果显示，相对于供应商优化库，Magicube 平均提高了 1.44 倍（最高提高到 2.37 倍），而且即使精度相当，相对于同类技术，性能也提高了 1.43 倍。

Sep, 2022

Misam: 使用机器学习在稀疏稀疏矩阵乘法的数据流选择

通过使用决策树和深度强化学习技术，本文提出一种基于机器学习的方法来自适应地选择适应不同稀疏度模式的 SpGEMM 任务的最合适的数据流方案，进一步对比了传统的启发式方法，结果显示使用机器学习来进行硬件加速器中的动态数据流选择能够带来高达 28 倍的性能提升。

Jun, 2024

深度学习的稀疏 GPU 内核

本文提出一种基于稀疏矩阵的计算优化方法，通过对深度学习应用中的稀疏矩阵进行深入研究，开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核，实现了神经网络模型的加速和内存节省。

Jun, 2020

FLAASH：用于稀疏高阶张量收缩的灵活加速器架构

这篇论文介绍了一个灵活且模块化的加速器设计，用于稀疏张量收缩，在深度学习工作负载中实现了超过 25 倍的加速效果。

Apr, 2024

一款高效稀疏推断软件加速器，用于基于转换器的语言模型在 CPU 上

本论文提出了一种基于定常块大小的高效稀疏深度学习推断软件堆栈，可以将稀疏加速器应用于 Transformer-based 语言模型，我们的稀疏加速器在处理各种 GEMM 形状时，比现有的稀疏库快一个数量级，在 Xeon 上具有高效的性能。

Jun, 2023

HASS: 数据流 DNN 加速器的硬件感知稀疏性搜索

利用软硬件协同优化的方法，我们提出了一种针对数据流加速器的利用非结构化稀疏性的新方法，通过一系列模型，在现有的疏松设计中实现了从 1.3 倍到 4.2 倍的效率提升，特别是 MobileNetV3 的吞吐量可以优化到 4895 张图像每秒。HASS 是开源的：https://github.com/Yu-Zhewen/HASS

Jun, 2024

从算法到硬件：深度神经网络高效安全部署综述

深度神经网络（DNNs）在许多人工智能（AI）任务中被广泛使用，为了解决其部署带来的巨大的内存、能量和计算成本挑战，研究人员开发了各种模型压缩技术，最近还有越来越多的研究关注定制化 DNN 硬件加速器以更好地利用模型压缩技术，此外，保护安全和隐私对于部署 DNNs 至关重要，我们的研究综述首先涵盖主流的模型压缩技术，如模型量化、模型修剪、知识蒸馏和非线性运算优化，然后介绍了设计可以适应高效模型压缩方法的硬件加速器的最新进展，此外，我们还讨论了如何将同态加密集成到安全 DNN 部署中，最后，我们讨论了硬件评估、泛化和各种压缩方法的集成等几个问题，总体来说，我们旨在从算法、硬件加速器和安全性角度提供高效 DNN 的整体概况。

May, 2024