Jul, 2024
深入研究基于自监督预训练的图像分类性能评估
A Closer Look at Benchmarking Self-Supervised Pre-training with Image
Classification
TL;DR自我监督学习方法是一种机器学习方法，通过解决预设任务，通过数据本身提供监督，从而避免了对外部标签的需求，并能够有效利用大量廉价无标签数据进行模型训练，从而显著降低了昂贵或无法获取标签的模型训练成本。本研究主要针对自我监督学习方法中的评估协议进行研究，评估表征质量，并预测不同类型数据集上不同下游任务的性能表现，发现基于领域内的线性/kNN探测协议是最好的普适性预测器，进一步研究了批归一化的重要性以及对不同类型数据集领域转移的鲁棒性的评估，同时对区分性和生成性自我监督方法之间的关系进行了挑战，并发现它们之间的性能差异大部分可以通过模型的改变来解释。