Feb, 2024
TransAxx: 高效逼近计算的 Transformer
TransAxx: Efficient Transformers with Approximate Computing
Dimitrios Danopoulos, Georgios Zervakis, Dimitrios Soudris, Jörg Henkel
TL;DR本研究使用 Vision Transformer 模型结合近似计算方法分析了在低功耗设备上实现 Transformer 模型的计算要求和性能之间的折衷,并提出了使用蒙特卡洛树搜索算法生成 Vision Transformer 模型的近似加速器的方法,从而在不损失性能的前提下实现了显著的功耗优化。