Oct, 2023
基于异质注意力模式的视觉 Transformer 加速
Accelerating Vision Transformers Based on Heterogeneous Attention Patterns
Deli Yu, Teng Xi, Jianwei Li, Baopu Li, Gang Zhang...
TL;DR基于观察到的异构注意力模式,在 Vision Transformers 中提出了一种综合压缩方法,通过动态引导的静态自注意力和全局聚合金字塔,加速了运行时间吞吐量,超过了所有 SOTA 方法。