Jul, 2024
基于嵌入式FPGA的整数量化变压器用于AIoT中的时间序列预测
Integer-only Quantized Transformers for Embedded FPGA-based Time-series
Forecasting in AIoT
TL;DR本文介绍了一种为AIoT系统中的设备端时间序列预测而优化的Transformer硬件加速器的设计,它结合了整数量化和量化感知训练与优化的硬件设计,实现了6位和4位量化的Transformer模型,其精度与相关研究中的8位量化模型可比。通过在嵌入式FPGA(Xilinx Spartan-7 XC7S15)上进行完整的实现,我们考察了在嵌入式IoT设备上部署Transformer模型的可行性。我们的结果表明,虽然可以达到足够的性能,但优化过程并不简单。与相关研究中的8位量化Transformer模型相比,我们的4位量化Transformer模型仅增加0.63%的测试损失,运行速度高达132.33倍,能耗减少48.19倍。