Jul, 2024
基于嵌入式FPGA的整数量化变压器用于AIoT中的时间序列预测
Integer-only Quantized Transformers for Embedded FPGA-based Time-series
Forecasting in AIoT
TL;DR本文介绍了一种为AIoT系统中的设备端时间序列预测而优化的Transformer硬件加速器的设计，它结合了整数量化和量化感知训练与优化的硬件设计，实现了6位和4位量化的Transformer模型，其精度与相关研究中的8位量化模型可比。通过在嵌入式FPGA（Xilinx Spartan-7 XC7S15）上进行完整的实现，我们考察了在嵌入式IoT设备上部署Transformer模型的可行性。我们的结果表明，虽然可以达到足够的性能，但优化过程并不简单。与相关研究中的8位量化Transformer模型相比，我们的4位量化Transformer模型仅增加0.63%的测试损失，运行速度高达132.33倍，能耗减少48.19倍。