Jun, 2023
使用注意力映射和前馈神经网络压缩的视觉 Transformer
Vision Transformer with Attention Map Hallucination and FFN Compaction
Haiyang Xu, Zhichao Zhou, Dongliang He, Fu Li, Jingdong Wang
TL;DR本文提出了一种名为 attention map hallucination 和 FFN compaction 的技术,可以帮助减少 Vision Transformer 里的重叠和获得更好的性能。