Apr, 2020

跨领域拓展和分析自监督学习

TL;DR通过对自监督学习在卫星图像等各个领域的实验发现,旋转任务是语义最具意义的,而Jigsaw和Instance Discrimination的性能很大程度上归因于它们诱导分布的特性,但在细粒度分类等任务上所有任务的表现均不佳,这些成功和失败的原因通过对预训练泛化、随机标签和隐含维度的研究进行了定量和定性的诊断。