ICLRMar, 2022
统一视觉 Transformer 压缩
Unified Visual Transformer Compression
Shixing Yu, Tianlong Chen, Jiayi Shen, Huan Yuan, Jianchao Tan...
TL;DR本论文提出了一种统一的 ViT 压缩框架,其中使用了修剪、跳跃层和知识蒸馏等三种有效技术,经过在 ImageNet 数据集上的实验验证,我们的方法在保证精度的前提下有效压缩 Vision Transformers,比目前已有的压缩方法表现更优。