Dec, 2016

FINN: 快速可伸缩二值神经网络推理框架

HTML
PDF
TL;DR本文介绍FINN，一种用于构建快速、灵活的FPGA加速器的框架，该框架使用灵活的异构流式架构，并利用一组优化，将二值化神经网络映射到硬件上，从而实现完全连接、卷积和池化层，同时满足用户提供的吞吐量要求。在低于25W的总系统功率下，该平台在MNIST数据集上表现出高达1230万次图像分类每秒，0.31微秒的延迟和95.8％的准确率，在CIFAR-10和SVHN数据集上表现出21906次和283微秒的延迟、80.1％和94.9％的准确率，这是目前这些基准测试中报道的最快的分类率。
发现论文，激发创造
  • Ristretto：卷积神经网络的硬件取向近似

    本文介绍了一个快速自动化的CNN近似框架Ristretto，其可以将CaffeNet和SqueezeNet压缩到8位，以此实现硬件加速，从而减少运行时间和功耗。

    May, 2016

  • 咖啡因 FPGA：用于卷积神经网络的 FPGA 框架

    本文介绍了一种修改版CNN框架Caffe，该框架支持FPGA实现，并使用Xilinx SDAccel环境实现了基于FPGA的Winograd卷积引擎，能够与其他运行在主机处理器上的层一起运行几个流行的CNN模型，取得了50 GFLOPS的成果。

    Sep, 2016

  • 可再配置逻辑上二值神经网络的扩展

    该论文研究了如何在BNN网络中使用padding提高分类准确率的同时，仍然保持1位数据通路。作者展示了该方法的灵活性和可扩展性，并在ADM-PCIE-8K5平台上实现了大型BNN分类的快速和精确。

    Jan, 2017

  • Arria 10 上的 OpenCL(TM) 深度学习加速器

    利用深度学习加速器（DLA）和 Winograd 变换技术，我们在 Intel Arria 10 设备上实现了1020图像/秒的性能，比 FPGA 上最先进的技术快10倍，同时也具有5.8倍的更高效率，并且与 nVidia TitanX GPU 上基于 AlexNet 的最佳公开实现比 23 img/s/W 具有竞争力。

    Jan, 2017

  • NullHop：基于特征图稀疏表示的灵活卷积神经网络加速器

    研究了一种灵活有效的卷积神经网络加速器结构NullHop，采用神经元激活的稀疏特性加速计算并降低内存需求，可用于低功耗和低延迟应用，实现了98%的MAC单元利用率，达到了超过3TOp/s/W的功率效率，并成功将其FPGA实现与神经形态事件相机接口进行了实时交互演示。

    Jun, 2017

  • 自动生成 FPGA 上的多精度多算术卷积神经网络加速器

    该研究提出了自动化生成高效CNN加速器的框架Tomato，并展示了在FPGA上运行的最先进的多精度多算术网络，不仅有效地减少了模型大小和计算复杂性，还可以将完整的ImageNet网络打包到单个FPGA上，并且与同类基于FPGA的竞争对手相比，延迟和吞吐量至少提高了2-4倍。

    Oct, 2019

  • LUTNet：学习 FPGA 配置以实现高效神经网络推理

    使用 LUTNet 框架可以在 FPGA 上构建面积高效、节能的神经网络加速器，实现了在几个标准网络模型的推断过程中比二元化神经网络实现更高的面积效率、相当的精度和更高的能量效率。

    Oct, 2019

  • FFCNN：基于FPGA的卷积神经网络推理快速加速

    本文介绍了一种基于OpenCL的卷积神经网络加速器设计，称为FFCNN，它包括数据重用和任务映射技术，这些技术可以在大规模图像分类中提高性能和资源利用率。

    Aug, 2022

  • 通过即时权重生成在CNN引擎中缓解内存瓶颈效应

    本文介绍了一种名为unzipFPGA的CNN推断系统，它通过引入权重生成模块实现了芯片上的实时权重生成，为小容量内存限制的层提供了更好的支持；此外，还介绍了一种自动化硬件感知的方法，将权重生成机制与目标CNN设备进行搭配，从而实现了更好的准确性和性能平衡；最后，还引入了一种输入选择性处理单元（PE）设计，平衡了子优化映射层的负载。该提议的框架在相同功耗约束下，与高度优化的GPU设计相比，实现了平均2.57倍的性能效率提升，同时在各种最先进的基于FPGA的CNN加速器中具有高达3.94倍的性能密度。

    Jul, 2023

  • H2PIPE：在具有高带宽内存的FPGA上实现高吞吐量CNN推理

    本研究解决了在FPGA上实现高性能卷积神经网络推理所需的高带宽内存问题。通过将高带宽内存与芯片内存结合，提出了一种新的层级流水数据流加速器设计，提升了大规模CNN的计算效率。实验表明，与现有方案相比，该方法在ResNet-18、ResNet-50和VGG-16上分别获得至少19.4倍、5.1倍和10.5倍的速度提升。

    Aug, 2024