Jul, 2024

探索 MX 及其进一步的 FPGA 设计

PDF
TL;DR针对低精度计算的 Open Compute Project MX 标准，本文描述并评估了首个开源 FPGA 实现的算术计算。我们的设计完全支持标准中定义的具体格式以及标准规定的算术运算，同时还支持任意固定点和浮点格式。通过实现例子神经网络如 ResNet-18，我们展示了 MX 对于 INT5 或 FP6 等格式的非原生支持在 FPGA 上具有非常好的效果，这使得 FPGA 在灵活性和占用更小面积方面占据优势。
发现论文，激发创造
  • 可训练的固定点量化用于在 FPGA 上加速深度学习

    通过 QFX 可在 FPGA 上实现固定点量化，提高模型在 CIFAR-10 和 ImageNet 数据集上的准确度和性能。

    Jan, 2024

  • 使用 FPGA 进行高性能计算的设计优化

    本研究旨在探索 FPGA 在高性能计算中的应用价值，通过对 Tensil AI 开源推理加速器进行硬件设计和编译优化，成功提升了推理性能，进一步证明了 FPGA 在计算加速中的优越性，通过实验数据证明所提出的加速器在单位能耗下的操作强度可达 21.12 GOP/s，相比市面上其他设备，具有更高的能源效率。

    Apr, 2023

  • 深度学习的微调数据格式

    窄位宽数据格式是降低现代深度学习应用的计算和存储成本的关键。本文评估了使用分区缩放因子和狭窄的浮点和整数类型结合的微标度（MX）数据格式。MX 格式平衡了硬件效率、模型准确度和用户摩擦之间的竞争需求。超过两打基准实验证明了 MX 数据格式作为 AI 推理和训练中替代 FP32 的易用性低的替代品的实用性。我们还展示了在最小准确度损失和无需调整训练配方的情况下，首次实现对生成语言模型进行低于 8 位权重、激活和梯度的训练。

    Oct, 2023

  • AxOMaP: 设计基于 FPGA 的近似算术运算器使用数学规划

    使用数据分析驱动的数学规划方法，合成 FPGA 的近似运算器，实现在嵌入式系统中机器学习推理的联合优化，取得了高达 21% 的超体积改进。

    Sep, 2023

  • 面向 FPGAs 和 ASICs 的 Hessian 感知量化神经网络的端对端协同设计

    利用 Hessian-aware quantization (HAWQ) 来量化神经网络（NNs），Quantized Open Neural Network Exchange（QONNX）中间表示和 hls4ml 到 FPGA 和 ASIC 固件的工具流程将 NNs 高效地实现在硬件上，并在粒子物理应用程序中展示了这个工作流程，包括使用混合精度 NN 分类器对 HLC 质子 - 质子碰撞中的高动量粒子喷流进行优化。

    Apr, 2023

  • FP6-LLM: 通过 FP6 中心算法系统共同设计高效服务大型语言模型

    通过提出的 TC-FPx 全栈 GPU 核心设计方案，结合张量核心支持，为量化的大型语言模型推理提供全新的端到端支持（称为 FP6-LLM），实现了推理成本和模型质量之间的更好平衡。

    Jan, 2024

  • FPGA 上高吞吐量混合精度 CNN 加速器设计

    本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

    Aug, 2022

  • 混合匹配：一种新的面向 FPGA 的深度神经网络量化框架

    该论文研究了基于 FPGA 的深度神经网络模型压缩方法 —— 不同行采用不同的量化方案以充分利用 FPGA 中 LUT 和 DSP 的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

    Dec, 2020

  • 混合专家混合精度神经网络的调优

    通过添加新的数据类型到 Caffe，增加了现有商品电子设备上深度学习推断速度，在某些设备上，内存使用量可以降低到 3.29 倍，推断速度可以提高到 3.01 倍，并提出了一种混合专家模型的变化来增加图像分类中的推断速度。

    Sep, 2022

  • 基于 FPGA 的深度神经网络实现，仅使用芯片内存

    本研究开发了一种基于 FPGA 的定点深度神经网络系统，实现了手写数字识别和音素识别任务，相较于基于 GPU 的系统有更高的效率和更低的功耗。

    Feb, 2016