ICLRApr, 2019

自监督关键分析:或从单张图像中获得的经验教训

TL;DR本文对于深度卷积神经网络的自监督技术进行了批判性的探讨,指出在使用强大的数据增强技术后,三种不同但具有代表性的方法可以从单个图像中学习卷积网络的前几层,但是对于更深层的神经网络,即使使用了数百万张未标记的图像来进行训练,与手动监督的差距也无法弥补。该研究得出的结论是:(1)深度网络的早期层的权值包含的自然图像的统计信息非常有限,(2)这种低层次的统计信息可以通过自监督学习和强监督学习一样学习,(3)可以通过使用合成变换来捕获低层次的统计信息,而无需使用大量的图像数据集。