Oct, 2019

LUTNet：学习 FPGA 配置以实现高效神经网络推理

PDF
TL;DR使用 LUTNet 框架可以在 FPGA 上构建面积高效、节能的神经网络加速器，实现了在几个标准网络模型的推断过程中比二元化神经网络实现更高的面积效率、相当的精度和更高的能量效率。
neural networksfpgalutnetarea efficiencybinary
发现论文，激发创造
  • LUTNet：在 FPGA 软逻辑中重新思考推理

    该研究提出了一种新的硬件软件框架 LUTNet，可以利用 FPGA 中的 LUT 实现神经网络加速器的构建，可实现较大的修剪和面积节省。与其他模型比较，该框架达到了两倍的面积效率。

    Apr, 2019

  • NeuraLUT：在布尔可综合函数中隐藏神经网络密度

    利用全连接层内的浮点精度作为每个分区内的刚性稀疏性和量化，我们提出了将整个子网络映射到单个查找表（LUT）中的方法，并通过引入跳跃连接来解决梯度消失等挑战，从而显着提高延迟。

    Feb, 2024

  • PolyLUT: 学习分段多项式用于超低延迟的 FPGA 基于 LUT 的推理

    使用多元多项式作为基本构建模块，我们提出了一种新的方法，通过软逻辑将多项式计算隐藏在 LUTs 内部，从而在 FPGA 部署上训练神经网络，实现相同的准确性，同时显著降低延迟和面积。我们在网络入侵检测、CERN 大型强子对撞机的喷气识别和 MNIST 数据集的手写数字识别三个任务中展示了这种方法的有效性。

    Sep, 2023

  • LogicNets: 极高吞吐量应用的协同设计神经网络和电路

    通过设计神经网络拓扑结构来直接映射高效 FPGA 实现的一种新方法。其中，硬件成本与神经元扇入呈指数级增长，通过使用稀疏和低比特激励量化来限制神经元扇入及减小逻辑深度和低 LUT 成本，可以实现具有高速低延时和高吞吐量的电路。应用于高能物理和网络入侵检测等任务，具有竞争性的准确性，每秒推断量可达数亿。

    Apr, 2020

  • 多项式 LUT-Add：基于 FPGA 的宽输入 LUT 推理

    通过引入 PolyLUT-Add 技术，结合多个 PolyLUT 子神经元进行相加以提高准确性，并描述了一个提高可扩展性的新型架构，实验结果表明，在相似准确度的情况下，PolyLUT-Add 相比传统方法能够减少 1.3-7.7 倍的 LUT 使用量并降低 1.2-2.2 倍的延迟。

    Jun, 2024

  • 网络量化中的迭代查找表训练

    本研究介绍了一种叫做 LUT-Q 的训练方法，它可以学习一个字典并将每个权重分配给字典中的一个值，以减少深度神经网络的内存和计算需求。我们的实验结果表明，LUT-Q 比其他同种量化位宽的方法表现更好，并提出了一种无乘法器批归一化的算法。

    Nov, 2018

  • 关于资源受限硬件平台的神经架构搜索

    提出了一种新的框架，用于在限制条件下寻找最优的量化神经架构并实现在给定的硬件规格上，该框架使用 FPGAs 来实现和测试设计并在 CIFAR10 任务中提高了 18％至 68％的准确性。

    Oct, 2019

  • ReBNet: 残差二值化神经网络

    提出了 ReBNet 框架，用于训练可重构的二进制神经网络并在 FPGA 上执行，通过多级二值化提高分类准确性同时满足资源有限的设备要求。

    Nov, 2017

  • HadaNets: 神经网络的灵活量化策略

    该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

    May, 2019

  • N3H-Core: 神经元设计的基于 FPGA 的异构计算核心神经网络加速器

    本文介绍了一种 FPGA 加速神经网络评估的异构计算系统，通过利用 DSP 和 LUT 的不同资源优势进行计算。作者运用强化学习算法对系统进行优化，使得该系统在减少延迟的同时提高了精度表现。

    Dec, 2021