Feb, 2024

NeuraLUT：在布尔可综合函数中隐藏神经网络密度

PDF
TL;DR利用全连接层内的浮点精度作为每个分区内的刚性稀疏性和量化，我们提出了将整个子网络映射到单个查找表（LUT）中的方法，并通过引入跳跃连接来解决梯度消失等挑战，从而显着提高延迟。
field-programmable gate array (fpga)neural network (nn)lookup tables (luts)sparsity patternlatency
发现论文，激发创造
  • LUTNet：在 FPGA 软逻辑中重新思考推理

    该研究提出了一种新的硬件软件框架 LUTNet，可以利用 FPGA 中的 LUT 实现神经网络加速器的构建，可实现较大的修剪和面积节省。与其他模型比较，该框架达到了两倍的面积效率。

    Apr, 2019

  • LUTNet：学习 FPGA 配置以实现高效神经网络推理

    使用 LUTNet 框架可以在 FPGA 上构建面积高效、节能的神经网络加速器，实现了在几个标准网络模型的推断过程中比二元化神经网络实现更高的面积效率、相当的精度和更高的能量效率。

    Oct, 2019

  • LogicNets: 极高吞吐量应用的协同设计神经网络和电路

    通过设计神经网络拓扑结构来直接映射高效 FPGA 实现的一种新方法。其中，硬件成本与神经元扇入呈指数级增长，通过使用稀疏和低比特激励量化来限制神经元扇入及减小逻辑深度和低 LUT 成本，可以实现具有高速低延时和高吞吐量的电路。应用于高能物理和网络入侵检测等任务，具有竞争性的准确性，每秒推断量可达数亿。

    Apr, 2020

  • PolyLUT: 学习分段多项式用于超低延迟的 FPGA 基于 LUT 的推理

    使用多元多项式作为基本构建模块，我们提出了一种新的方法，通过软逻辑将多项式计算隐藏在 LUTs 内部，从而在 FPGA 部署上训练神经网络，实现相同的准确性，同时显著降低延迟和面积。我们在网络入侵检测、CERN 大型强子对撞机的喷气识别和 MNIST 数据集的手写数字识别三个任务中展示了这种方法的有效性。

    Sep, 2023

  • 多项式 LUT-Add：基于 FPGA 的宽输入 LUT 推理

    通过引入 PolyLUT-Add 技术，结合多个 PolyLUT 子神经元进行相加以提高准确性，并描述了一个提高可扩展性的新型架构，实验结果表明，在相似准确度的情况下，PolyLUT-Add 相比传统方法能够减少 1.3-7.7 倍的 LUT 使用量并降低 1.2-2.2 倍的延迟。

    Jun, 2024

  • N3H-Core: 神经元设计的基于 FPGA 的异构计算核心神经网络加速器

    本文介绍了一种 FPGA 加速神经网络评估的异构计算系统，通过利用 DSP 和 LUT 的不同资源优势进行计算。作者运用强化学习算法对系统进行优化，使得该系统在减少延迟的同时提高了精度表现。

    Dec, 2021

  • 混合匹配：一种新的面向 FPGA 的深度神经网络量化框架

    该论文研究了基于 FPGA 的深度神经网络模型压缩方法 —— 不同行采用不同的量化方案以充分利用 FPGA 中 LUT 和 DSP 的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

    Dec, 2020

  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019

  • 基于 FPGA 的深度神经网络在粒子物理中的快速推断

    介绍了基于 FPGA 进行神经网络推理的案例研究，其使用高级综合技术（HLS）构建机器学习模型，旨在为粒子物理学的高速实时事件处理提供支持，适用于很多场合，如寻找新的暗扇区粒子和测量希格斯玻色子等。

    Apr, 2018

  • FPGA 上高吞吐量混合精度 CNN 加速器设计

    本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

    Aug, 2022