Jan, 2021
一个线性化框架和新的模型精调选择基准
A linearized framework and a new benchmark for model selection for fine-tuning
Aditya Deshpande, Alessandro Achille, Avinash Ravichandran, Hao Li, Luca Zancato...
TL;DR研究通过从不同领域预训练的模型集合（模型库）微调模型是提高低数据量情况下的测试准确性的一种技术，但如何在不进行任何训练的情况下从模型库中预选正确的模型仍然是一个开放的课题。本文使用线性化框架来近似微调，并介绍了两个新的模型选择基准 ——Label-Gradient 和 Label-Feature Correlation，并提出了一个包含单一和多领域模型库以及许多目标任务的新综合基准。该基准突出了与 fine-tuning Imagenet 模型相比使用模型库的准确率提升。我们展示了我们的模型选择基准可以通过少数的选择选择最佳的微调模型，并与现有算法相比具有最高的 fine-tuning 准确度相关性排名。