ECCVNov, 2021
自瘦身视觉 Transformer
Self-slimmed Vision Transformer
Zhuofan Zong, Kunchang Li, Guanglu Song, Yali Wang, Yu Qiao...
TL;DR该研究提出了一种基于 Token Slimming Module 和 Feature Recalibration Distillation 的自我瘦身学习方法(SiT),能够大幅减少 Vision Transformers 的计算负担,同时不会对其分类性能产生太大影响,并在 ImageNet 数据集上实现了新的最佳性能。