Dec, 2021
自监督预训练是否需要大规模数据集?
Are Large-scale Datasets Necessary for Self-Supervised Pre-training?
Alaaeldin El-Nouby, Gautier Izacard, Hugo Touvron, Ivan Laptev, Hervé Jegou...
TL;DR本研究探讨了只利用目标任务数据的自监督预训练方法,结果显示与 ImageNet 预训练相比,使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据,这种方法在使用 COCO 数据进行预训练时,检测和实例分割性能超过了监督的 ImageNet 预训练方法。