Aug, 2024

高效边缘人工智能：使用Gemmini加速器在FPGA上部署卷积神经网络

HTML
PDF
TL;DR本研究解决了在边缘设备上部署卷积神经网络（CNN）的复杂性和劳动强度问题。通过开发一个端到端的工作流程，利用Gemmini加速器和开源软件优化部署过程，研究显示在Xilinx ZCU102 FPGA上部署YOLOv7模型可实现实时性能和36.5 GOP/s/W的能效表现，显著优于其他嵌入式硬件设备。此方案在交通监控场景中的应用展示了其广泛的潜在影响。
发现论文，激发创造
  • Arria 10 上的 OpenCL(TM) 深度学习加速器

    利用深度学习加速器（DLA）和 Winograd 变换技术，我们在 Intel Arria 10 设备上实现了1020图像/秒的性能，比 FPGA 上最先进的技术快10倍，同时也具有5.8倍的更高效率，并且与 nVidia TitanX GPU 上基于 AlexNet 的最佳公开实现比 23 img/s/W 具有竞争力。

    Jan, 2017

  • 用于在FPGAs上映射卷积神经网络的工具流：调查和未来方向

    本文综述了现有的CNN-to-FPGA工具流，包括应用支持、架构选择、设计空间探索方法和性能等关键特性的比较研究，提出了最新CNN算法研究引入的主要挑战和目标，并提出了一种统一的评估方法，旨在全面、完整和深入地评估CNN-to-FPGA工具流。

    Mar, 2018

  • FPGA/DNN Co-Design: 物联网边缘智能的高效设计方法

    本文提出了一种相结合的 FPGA/DNN 共同设计方法，包括自动设计流程和硬件优化的 DNN 模型搜索，结果表明在对象检测上该设计方案的 DNN 模型和加速器在交并比、帧数、功耗和能量效率等多个方面优于 GPU 解决方案。

    Apr, 2019

  • 重新思考神经网络结构与硬件加速器的共同设计

    本研究系统研究了协同设计神经网络架构和硬件加速器的重要性和策略，发现不同的使用场景会导致非常不同的搜索结果，研究表明联合搜索方法在所有延迟目标上始终优于以前的面向平台的神经体系结构搜索、手动设计的模型和最先进的EfficientNet，可将边缘加速器的能源消耗降低高达2倍。

    Feb, 2021

  • 卷积神经网络边缘TPU加速器评估

    本文介绍Edge TPUs的微体系结构细节、它们在不同计算生态中的性能表现以及开发高精度机器学习模型来评估加速器主要性能指标的努力，并讨论了 Edge TPU 加速器在不同结构的 CNN 上的性能表现。

    Feb, 2021

  • 利用剪枝和差分交叉栅映射提高基于 ReRAM 的边缘 AI 的 DNN 容错性

    本文提出了一种差分映射方案，以提高ReRAM的容错性，实现无需大规模优化的负载裁剪技术，从而在代表性DNN任务中容忍几乎高达一个数量级的故障率，而不需要额外的硬件成本。

    Jun, 2021

  • 实现边缘智能动态卷积神经网络推理的探索

    本研究提出了动态流式传输模型参数和基于库的方法来实现传统CNN架构的可扩展和动态分布式CNN推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在Xilinx PYNQ-Z2板上实现了LeNet-5 CNN模型，具有92％，86％和94％的分类准确率。

    Feb, 2022

  • 基于FPGA的卷积运算加速解决方案

    本文介绍了一种基于硬件加速的卷积操作FPGA架构，旨在实现单层卷积的处理，以推出一种边缘AI解决方案IP核，实验结果表明它的峰值运算性能可达4.48 GOPS。

    Jun, 2022

  • 神经形态硬件上机器学习工作量的高效部署

    本文提供了一种将预先训练的深度神经网络(DNNs) 转换成脉冲神经网络(SNNs)的通用指南，并介绍了一些在神经形态硬件上部署转换后的 SNNs 的技术，可显著改进其延迟，功耗和能耗。实验结果表明，与Intel Neural Compute Stick 2相比，使用我们的SNN改进技术， Intel 的神经形态处理器Loihi 在测试的图像分类任务中功耗降低了最多27倍，能耗降低了最多5倍。

    Oct, 2022

  • 可重构分布式FPGA集群设计用于深度学习加速器

    基于低功耗的内嵌FPGA提出的分布式系统，可用于边缘计算应用，通过分布式调度优化深度学习负载以获得最佳性能，同时可以在多种配置下评估和管理神经网络工作负载。

    May, 2023