AAAINov, 2022
剥离洋葱:分层减少数据冗余以提高 Vision Transformer 训练效率
Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training
Zhenglun Kong, Haoyu Ma, Geng Yuan, Mengshu Sun, Yanyue Xie...
TL;DR本文提出了一种从三个稀疏角度出发的训练框架 Tri-Level E-ViT,探索了数据冗余的减少,并证明了该框架不仅可以加速各种 ViT 架构的训练,还可以提高准确性。