May, 2021

划分与对比:自监督学习从未审查的数据中学习

TL;DR本文研究自监督学习在大规模数据集上的应用,提出了一种基于对比学习与聚类的硬负样本挖掘方法(DnC),在 less-curated 数据集上的预训练,可以显著提高自监督学习在后续任务上的表现效果,并与目前在高度筛选数据集上的最新水平保持竞争力。