该论文提出了一种名为 LOOK 的基于留一法 K 最近邻（Leave-One-Out K-Nearest-Neighbor）的监督预训练方法，它通过让每个图像只与其 k 个最近邻居共享其类标签，从而允许每个类展现出多模式分布，从而更好地转移至下游任务，并在多个下游任务上的实验研究表明，LOOK 优于其他监督和自监督预训练方法。

Oct, 2021

本文研究了无监督预训练在少标签数据迁移中的表现，发现在少标签数据迁移中，聚类质量对迁移表现有很重要的影响；此外，我们提出仅将部分无标签目标领域纳入无监督预训练中即可提高聚类质量，减少与有监督预训练之间的迁移性能差距，并提出新的渐进式少标签迁移算法，以在有限的注释预算下最大化迁移性能。实验结果表明，我们的提出方法可以显著提升无监督预训练在少标签数据迁移中的表现。

Jul, 2021

运用一种新的理论框架，研究无监督预训练对细调模型泛化能力的影响，并通过分析两个具体场景的泛化上限，提出了一种新的预训练正则化方法，从而促进了细调模型的泛化能力。

Mar, 2024

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

引入一种新的预训练程序，利用有监督对比学习来区分每个预训练数据集中的特征，进而通过将目标数据与预训练数据集的学习动态更加紧密地对齐，以提高目标数据的准确预测。

Nov, 2023

本文研究无监督预训练方法对信息理论的影响，当输入分布显示出多个监督视图时，该方法可以学习层次化表示，并确保学到的特征在条件标签下独立。无监督预训练可以帮助解决过拟合问题，并提出了一种实用方法来评估监督解缠和二进制特征中的多个视图数量。相比之下，使用有监督模型的学习表示法会忽略大部分视图。

May, 2019

在本研究中，我们对监督学习和对比学习预训练策略及其在下游 3D 任务中的实用性进行了深入的定量和定性调查，通过分层分析学到的特征提供了对训练网络在下游任务中的可用性的重要见解，基于这一分析，我们提出了一种简单的几何正则化策略，来提高监督学习的可迁移性，我们的工作揭示了 3D 迁移学习的具体挑战以及克服这些挑战的策略。

Mar, 2024

本文旨在研究预训练与微调之间的关系，提出了一系列度量指标，探讨了预训练模型中不变性的传递性、微调过程中对不变性的保留与丢失、以及预训练模型在下游任务中的表现和变化。

Jul, 2023

本文提出改变自监督学习模型中主干神经网络的最后一个块的维度，是解决预训练偏差问题的一种简单有效的方法，并可以提高自监督预训练模型和有监督预训练模型的迁移学习性能。

Apr, 2023

本文针对卷积神经网络在物体识别方面的表现进行研究，探讨了无监督预训练在近期发展中是否仍具有重要的作用，并通过实验证实了无监督预训练对于样本中无监督数量比例较高时的效益，而当比例较低时不如数据增强、抑制过拟合等技术，此外文中还提到了色彩增强等方式更接近于先前最先进方法的表现。

Dec, 2014