Apr, 2023
为类增量学习在视觉 Transformer 中保留局部性
Preserving Locality in Vision Transformers for Class Incremental Learning
Bowen Zheng, Da-Wei Zhou, Han-Jia Ye, De-Chuan Zhan
TL;DR通过实验结果证明,采用 Locality-Preserved Attention (LPA) 可以防止 Vision Transformers 学习新的类别时出现 Locality Degradation 现象,从而保留更多的低层局部信息,提高模型拓展性能。