CVPRMar, 2022
无需训练的 Transformer 架构搜索
Training-free Transformer Architecture Search
Qinqin Zhou, Kekai Sheng, Xiawu Zheng, Ke Li, Xing Sun...
TL;DR本文提出了一种训练无需的 Transformer 架构搜索方法,使用 DSS 指标评估 ViT 架构的突触多样性和突触显著性,从而大大提高了在 ViT 搜索空间的效率,并取得了与手动设计和自动设计的 ViT 架构一样好的性能表现。