Mar, 2022
视觉 Transformer 的参数高效模型适应
Parameter-efficient Model Adaptation for Vision Transformers
Xuehai He, Chunyuan Li, Pengchuan Zhang, Jianwei Yang, Xin Eric Wang
TL;DR本文研究了视觉变换器的参数高效模型适应策略,提出了一种基于局部内在维度的参数高效模型适应框架,并通过实验比较了不同方法在各项指标下的表现。结果表明,该框架在少样本下的 20 个图像分类数据集和全样本下的 7 个图像分类数据集上,在准确性和参数效率之间的平衡上表现最佳。