MMMar, 2024

FlowPrecision: 使用线性量化提升基于 FPGA 的实时流体流动估计

PDF
TL;DR本研究应用线性量化于基于 FPGA 的软传感器以实现精确的流体流量估计，通过克服传统定点量化的局限性，显著提高神经网络模型的精确度。通过针对硬件的优化，我们的方法在平均平方误差上实现 10.10% 的降低，并在推理速度上有 9.39% 的显著改进。在多个数据集上验证后，我们的发现表明优化的基于 FPGA 的量化模型能够提供高效、准确的实时推理结果，为普遍自主系统中基于云处理的可行替代方案。
fluid flow measurementlinear quantizationfpga-based soft sensorsneural network model precisioninference speed
发现论文，激发创造
  • 设备上的软传感器：基于水位传感器数据的实时流体流量估计

    本研究通过在设备上部署软传感器，提高传感器融合和感知能力，改善能源效率，并利用可编程逻辑门阵列（FPGA）和微控制器单元的协同整合，提供了一种具有潜力的创新方法来高效地执行实时推理任务。

    Nov, 2023

  • 可训练的固定点量化用于在 FPGA 上加速深度学习

    通过 QFX 可在 FPGA 上实现固定点量化，提高模型在 CIFAR-10 和 ImageNet 数据集上的准确度和性能。

    Jan, 2024

  • 在嵌入式 FPGA 中加速混合极低位宽神经网络的设计流程

    在嵌入式 FPGA 中，通过混合量化方案加速极低比特宽度神经网络（ELB-NN），提出了一种设计流程，既涵盖了网络的训练，也包含了基于 FPGA 的网络部署，从而方便设计者探索设计空间，简化网络精度和计算效率之间的权衡，巧妙地在资源和功耗限制条件下提供边缘设备中的网络加速器，实现高达 10.3 TOPS 的高性能，每瓦分类达到 325.3 张图像。在文献中，我们比较了 GPU 或其他 FPGA 实现，结果显示出目前最省能的解决方案。

    Jul, 2018

  • 线性线性模型中的准确分块量化

    基于低精度 BFP 格式的通道重排方法在保证模型准确性的前提下，使内存占用减少 2 倍，且对推理延迟没有影响。

    Mar, 2024

  • FPGA 上高吞吐量混合精度 CNN 加速器设计

    本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

    Aug, 2022

  • 自动流程实现压缩卷积神经网络，以实现 FPGA 上的高效边缘计算

    本文研究了一种从训练好的 TensorFlow 模型到基于 FPGA 的二值化卷积神经网络系统的自动流程，并在 Cyclone-V FPGA 设备上实现了二值化的 YOLOV2，通过在目标检测上的实验，证明了与 CPU 和移动 CPU 平台相比，在 FPGA 上进行二值化幻化的模型大小和推理速度都有显著的性能提升。

    Dec, 2017

  • 面向 FPGAs 和 ASICs 的 Hessian 感知量化神经网络的端对端协同设计

    利用 Hessian-aware quantization (HAWQ) 来量化神经网络（NNs），Quantized Open Neural Network Exchange（QONNX）中间表示和 hls4ml 到 FPGA 和 ASIC 固件的工具流程将 NNs 高效地实现在硬件上，并在粒子物理应用程序中展示了这个工作流程，包括使用混合精度 NN 分类器对 HLC 质子 - 质子碰撞中的高动量粒子喷流进行优化。

    Apr, 2023

  • 量化卷积神经网络以用于低功耗高吞吐量推理引擎

    本文提出了一种量化方案，通过在参考浮点模型上校准而不是重新训练来确定量化方案参数，从而实现了基于更高效的算术进行推理，并且在量化后的结果中，终端到终端精度可与基准模型相当。

    May, 2018

  • 混合匹配：一种新的面向 FPGA 的深度神经网络量化框架

    该论文研究了基于 FPGA 的深度神经网络模型压缩方法 —— 不同行采用不同的量化方案以充分利用 FPGA 中 LUT 和 DSP 的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

    Dec, 2020

  • CascadeCNN：将量化在卷积神经网络中的性能极限推至极致

    CascadeCNN 是一个自动化工具流程，用于推动任何给定的 CNN 模型的量化极限，旨在进行高吞吐率推理。通过在级联中使用低 - 高精度单元以及置信度评估单元，实现对任何给定的 CNN-FPGA 配对的定制。实验证明，所提出的工具流程在相同的资源预算和准确性下，可以使 VGG-16 的性能提升高达 55％，AlexNet 的性能提升高达 48％，而无需重新训练模型或访问训练数据。

    Jul, 2018