重新思考有监督的预训练，以实现更好的下游转移

Oct, 2021

重新思考有监督的预训练，以实现更好的下游转移

Rethinking Supervised Pre-training for Better Downstream Transferring

Yutong Feng, Jianwen Jiang, Mingqian Tang, Rong Jin, Yue Gao

TL;DR该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移至下游任务，并在多个下游任务上的实验研究表明，LOOK 优于其他监督和自监督预训练方法。

Abstract

The pretrain-finetune paradigm has shown outstanding performance on many applications of deep learning, where a model is pre-trained on a upstream large dataset (e.g. ImageNet), and is then fine-tuned to different downstream tasks. Though for most cases, the pre-training stage is condu

pretrain-finetune paradigm self-supervised pre-training intra-class semantic difference supervised pre-training leave-one-out k-nearest-neighbor

发现论文，激发创造

监督预训练的可迁移性再探究：基于多层感知器的视角

这篇论文研究了预训练模型下的无监督预训练与监督预训练的可迁移性差异，并提出了利用多层感知器解决可迁移性问题的方法，实验证明，在监督预训练模型中加入多层感知器可使模型的可迁移性显著提高，使得监督学习下的预训练能够与无监督学习相媲美或者更优秀。

Dec, 2021

神经网络顺序转移自监督预训练调查

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

提升少标签迁移的无监督预训练

本文研究了无监督预训练在少标签数据迁移中的表现，发现在少标签数据迁移中，聚类质量对迁移表现有很重要的影响；此外，我们提出仅将部分无标签目标领域纳入无监督预训练中即可提高聚类质量，减少与有监督预训练之间的迁移性能差距，并提出新的渐进式少标签迁移算法，以在有限的注释预算下最大化迁移性能。实验结果表明，我们的提出方法可以显著提升无监督预训练在少标签数据迁移中的表现。

Jul, 2021

通过知识转移提升自监督学习

本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

May, 2018

高效条件预训练用于迁移学习

提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

Nov, 2020

理解和降低预训练中的标签噪声对下游任务的影响

通过大规模数据集的预训练和下游任务的微调已经成为深度学习中的标准实践。然而，预训练数据通常包含可能对模型的泛化产生不利影响的标签噪声。本文旨在理解预训练数据中噪声的特性，并减轻其对下游任务的影响。我们通过对合成噪声的 ImageNet-1K 和 YFCC15M 数据集进行有监督预训练模型的大量实验，证明了轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。我们通过实证验证了噪声对预训练的特征空间造成不同的影响。然后，我们提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力，考虑到可能无法完全微调甚至访问预训练模型。我们对经过噪声数据预训练的热门视觉和语言模型进行了实证实验以评估我们的方法。我们的分析和结果显示出这个有趣而新颖的研究方向的重要性，我们称之为噪声模型学习。

Sep, 2023

面向最坏情况下游适应的任务鲁棒预训练

本文提出了一种新的预训练模型方法，使其在从任务中保持鲁棒性，既在自然语言处理数据集上，又在计算机视觉数据集上都具有较好的表现。

Jun, 2023

大型自监督模型是强半监督学习器

本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

Jun, 2020

自监督模型的迁移表现如何？

本文探讨了 13 种自监督学习模型对 40 个下游任务的传输性能，发现自监督学习在多数任务上的表现均优于监督学习，但仍需解决通用预训练的问题。探究特征表明，自监督学习方法在保留颜色信息方面不如监督学习方法，但分类器校准和过度拟合问题相对较少。

Nov, 2020

自监督预训练在皮肤病变分析中的评估

本文比较了三种自监督预训练模型和一个有监督的基线模型，在五个数据集上进行了皮肤病变的诊断。结果表明，自监督预训练模型可以在提高准确性和降低结果的变异性方面与有监督的基线模型相媲美，尤其在数据量少的情况下表现更加稳定和优秀。

Jun, 2021