Jun, 2023
CLIPA-v2: 用 1 万美金预算训练,实现 81.1% 的零样本 ImageNet 准确率;再花 4000 美金可获得 81.8% 的准确率
CLIPA-v2: Scaling CLIP Training with 81.1% Zero-shot ImageNet Accuracy within a \$10,000 Budget; An Extra \$4,000 Unlocks 81.8% Accuracy
Xianhang Li, Zeyu Wang, Cihang Xie
TL;DR通过研究表明,CLIPA 可以通过反比例尺度律以更低的计算成本实现高性能的训练,可以在 finetuning 阶段进一步减少计算需求,从而实现零样本 Imagenet 准确率的提高。