Jan, 2023
自监督不助于大规模自然语言监督
Self Supervision Does Not Help Natural Language Supervision at Scale
Floris Weers, Vaishaal Shankar, Angelos Katharopoulos, Yinfei Yang, Tom Gunter
TL;DR本研究探讨了自监督与自然语言监督相结合,对大规模图像 - 文本训练的影响,结果表明,这种结合方式能够提高小数据集的表现,但对大规模数据集并没有显著提升。