Apr, 2023

Tensorflow Lite 中可动态重配置的可变精度稀疏密矩阵加速

PDF
TL;DR本文提出了一种动态可重构的硬件加速器 FADES，其使用数据流模型创建读取、计算、缩放和写入结果四个阶段，可用于张量运算的动态重配置，同时支持 int8 和 float 精度切换，具有更好的性能和更低的功耗。
hardware acceleratordataflow modeldynamically reconfigurableprecision switchdense and sparse matrices
发现论文，激发创造
  • FLAASH：用于稀疏高阶张量收缩的灵活加速器架构

    这篇论文介绍了一个灵活且模块化的加速器设计，用于稀疏张量收缩，在深度学习工作负载中实现了超过 25 倍的加速效果。

    Apr, 2024

  • 边缘实时超维重配置的硬件加速器

    本文介绍了利用低功耗嵌入式硬件的超高维可重构分析系统 (HyDRATE)，该系统利用无 MAC (无浮点数乘积累加操作) 深度神经网络 (DNN) 和超维 (超高维) 计算加速器在边缘执行实时重新配置。通过展示该算法、训练好的量化模型生成和特征提取来实现超高纬度基于逻辑的分类器，并展示了性能随超维数增加而提高的情况。本文介绍了实现的低功耗 FPGA 硬件和嵌入式软件系统，和实现的硬件加速器，以及系统延迟和功耗噪声稳健性等方面的讨论。通过视频活动分类任务的实际与模拟系统性能比较，展示了在相同数据集上的重新配置。使用边缘的少量学习新课程，使用无梯度下降反向传播仅通过重新训练前馈超高维分类器实现该系统的重构性。

    Jun, 2022

  • 通过结构化稀疏张量分解对稀疏 DNN 加速进行抽象化

    通过张量近似和结构分解的方法，该研究提出了一种软件框架（TASDER），以更好地支持硬件加速稀疏深度神经网络，并在能耗延迟乘积上平均提升了 83% 至 74%。

    Mar, 2024

  • 在密集硬件上快速训练稀疏图神经网络

    本研究通过优化稀疏矩阵算法，使用面向固定大小数据的平台扩展了稀疏图神经网络模型，使用 512 核 TPUv2 Pod 仅用 13 分钟训练，而原始训练需要近一天。

    Jun, 2019

  • 可重构分布式 FPGA 集群设计用于深度学习加速器

    基于低功耗的内嵌 FPGA 提出的分布式系统，可用于边缘计算应用，通过分布式调度优化深度学习负载以获得最佳性能，同时可以在多种配置下评估和管理神经网络工作负载。

    May, 2023

  • 基于算法、架构和数据流共同设计的高效稀疏 DNN 训练

    提出了一个计算高效的 N:M 稀疏深度神经网络（DNN）训练方案，包括算法、架构和数据流共同设计，并利用双向权重修剪方法和稀疏加速器实现了高效的 N:M 稀疏 DNN 训练，在几种 DNN 模型和数据集上的实验结果表明，在 2:8 稀疏比率下，该方案相对于密集训练可实现平均 1.75 倍的加速，准确度损失平均仅为 0.56%，在 FPGA 加速器上训练吞吐量提高了 2.97~25.22 倍，能效提高了 1.36~3.58 倍。

    Sep, 2023

  • 加速稀疏深度神经网络

    介绍了 NVIDIA Ampere GPU 架构中的稀疏张量核心 (Sparse Tensor Cores)，它们利用了 2:4 的稀疏模式，通过两倍的数学吞吐量加速了稠密矩阵单元，并提出了一种简单的工作流程以训练满足 2:4 稀疏模式和保持准确性的网络，从而在稀疏张量核心上实现精确模型的高效部署。

    Apr, 2021

  • Tensor Cores 上高效的量化稀疏矩阵操作

    提出了 Magicube，这是一个适用于低精度整数的高性能稀疏矩阵库，支持深度学习中的两个主要稀疏操作（SpMM 和 SDDMM）在 Tensor Cores 上的混合精度加速，实验结果显示，相对于供应商优化库，Magicube 平均提高了 1.44 倍（最高提高到 2.37 倍），而且即使精度相当，相对于同类技术，性能也提高了 1.43 倍。

    Sep, 2022

  • HASS: 数据流 DNN 加速器的硬件感知稀疏性搜索

    利用软硬件协同优化的方法，我们提出了一种针对数据流加速器的利用非结构化稀疏性的新方法，通过一系列模型，在现有的疏松设计中实现了从 1.3 倍到 4.2 倍的效率提升，特别是 MobileNetV3 的吞吐量可以优化到 4895 张图像每秒。HASS 是开源的：https://github.com/Yu-Zhewen/HASS

    Jun, 2024

  • 利用 2:4 稀疏加速 Transformer 预训练

    使用 NVIDIA Ampere GPU 利用 2:4 稠密 / 稀疏矩阵相乘的性质对 Transformer 的预训练进行加速，通过修改稀疏优化过程中的估计器和在预训练末端进行简单而有效的稠密微调，以及利用卷积计算可转置的 2:4 掩码和减少 GPU L2 缓存缺失来加速门控激活函数，实验结果表明我们提出的方法在不同 2:4 训练方法中达到最佳性能，并在不同形状的 Transformer 块上实现了实际加速。

    Apr, 2024