Mar, 2024

基于FPGA的可重构卷积-变换器混合高效ViT加速器

HTML
PDF
TL;DR本研究提出了一种基于FPGA的加速器，用于提高Vision Transformers的硬件效率，其中采用了可重构的架构以支持各种操作类型，并通过时分复用和流水线数据流来降低片外数据访问成本，实验证明其在Xilinx ZCU102 FPGA上能够显著优于之前的工作，达到了高达780.2 GOPS的吞吐量和105.1 GOPS/W的能效比。
发现论文，激发创造
  • 嵌入式FPGA卷积神经网络加速器的算法硬件协同设计

    本文提出了一种算法-硬件协同设计的方法，开发了一种名为Synetgy的ConvNet加速器和一种新颖的ConvNet模型DiracDeltaNet，可以高效地在FPGA上运行，得到了更高的准确率和更快的推理速度。

    Nov, 2018

  • VAQF：面向低位视觉Transformer的全自动软硬件协同设计框架

    本研究提出了一种名为VAQF的框架，该框架可以在FPGA平台上为量化的ViT模型构建推理加速器，并且可以自动输出所需的量化精度和优化参数设置，以在硬件要求下满足所需的帧速率。通过对基于DeiT-base模型的实验结果的评估，实现表明可以在满足24帧每秒的帧速率要求的情况下使用8位激活量化，以及在使用6位激活量化的情况下可以达到30帧每秒的目标。

    Jan, 2022

  • HeatViT：面向视觉Transformer的硬件高效自适应Token剪枝

    本文提出了一种硬件高效的图像自适应标记修剪框架HeatViT，以在嵌入式FPGA上实现高效而准确的ViT加速，通过显著重复利用现有硬件组件来实现标记选择器，使用固定点量化和多阶段训练策略来优化插入标记选择器的变压器块，使模型在硬件上不仅提高了准确性和推理延迟，而且还可在与现有计算成本相似的情况下获得更高的准确性或在与相似模型准确性相似的情况下实现更高的计算量减少。

    Nov, 2022

  • 高效ViT: 带级联分组注意力的内存高效视觉Transformer

    本研究提出一种高速的视觉Transformer模型EfficientViT，通过优化Memory-Hard Self-Attention (MHSA) 和注意力的多样性等方法，提高其内存利用率，加快模型速度，并在速度和准确性之间取得良好的平衡。

    May, 2023

  • 高效视觉变换器的调研：算法、技术和性能评测

    这篇文章首先数学上定义了使Vision Transformer高效的策略，描述并讨论了最先进的方法学，并分析了它们在不同应用场景下的性能。

    Sep, 2023

  • 一种基于FPGA的加速器，实现对任意核大小的CNN的高效支持

    使用FPGA的推断加速器，通过优化计算数据流、降低存储需求和优化卷积神经网络的部署，实现了支持任意核大小的卷积神经网络的高效部署，从而在各种基于视觉的应用中取得了卓越的性能。

    Feb, 2024

  • 通过静态和动态修剪在FPGA上加速ViT推理

    提出了一种综合算法-硬件设计，通过同时进行静态权重剪枝和动态令牌剪枝，加速在 FPGA 上的 ViT（Vision Transformers）模型，以减少计算复杂性和模型大小。

    Mar, 2024

  • 视觉Transformer模型量化和硬件加速：综述

    Vision Transformers（ViTs）的模型量化和硬件加速方面进行了综合调查，探讨了ViTs的独特架构特性、运行时特性、模型量化的基本原则，以及用于ViTs的最新量化技术的比较分析。此外，还探索了量化ViTs的硬件加速，强调了硬件友好算法设计的重要性，并讨论了未来的挑战和研究方向。

    May, 2024

  • P$^2$-ViT:完全量化的视觉变换器的二次幂后训练量化和加速

    Vision Transformers（ViTs）在计算机视觉任务中表现卓越，但它们在资源受限设备上的部署受到内存消耗和计算密集性的挑战。为了解决这个限制，我们提出了第一个适用于P2-ViT的后训练量化和加速框架，通过专门的量化方案有效量化ViTs，并设计硬件加速器和数据流来提高效率。

    May, 2024

  • CHOSEN: 高效视觉Transformer推理的编译硬件优化栈

    Vision Transformers (ViTs) are analyzed in terms of deployment on Field-Programmable Gate Arrays (FPGAs), and CHOSEN, a software-hardware co-design framework, is introduced to address the challenges and maximize performance with a 1.5x and 1.42x improvement in throughput.

    Jul, 2024