在大型汽车共享平台中探索预训练的有效性
本研究探讨了只利用目标任务数据的自监督预训练方法，结果显示与 ImageNet 预训练相比，使用我们介绍的变种 BEiT 的降噪自编码器方法更适合于类型和数据大小各不相同的预训练数据，这种方法在使用 COCO 数据进行预训练时，检测和实例分割性能超过了监督的 ImageNet 预训练方法。
Dec, 2021
本文研究了在联邦学习中，预训练对于提高性能的重要性，并在人工生成的数据和分布式数据的情况下进行了探索，发现这些技术可以相互补充来进一步提高性能。然而，预训练似乎无法解决在非独立同分布数据情况下的局部模型漂移问题。
Jun, 2022
该论文提出了一种新颖的信息化机器学习方法，建议在先前的知识上进行预训练，这可以加快学习过程，提高泛化能力，增加模型的鲁棒性，并且可以将语义知识转移至深层次特征。
May, 2022
在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。
Jun, 2020
本研究旨在促进 3D 深度学习表示学习的研究，重点关注高级场景理解任务，使用统一的三元组架构、源数据集和对比损失进行无监督预训练，对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测，取得了鼓舞性的结果，表明学习到的表示可以在不同领域推广使用，并且与监督的预训练的改善程度相似，建议未来的努力应该更加注重扩充数据收集而非详细标注。
Jul, 2020
该论文重新审视了在视觉识别任务中使用的标准预训练 - 微调范式，通过使用自监督 MAE 技术实现额外的预先训练阶段来初始化模型。该方法不仅可以扩展模型大小，还可以扩展训练数据集的规模，从而提高了基础模型的训练效率以及各种视觉识别任务的性能并取得了新的最优结果。
Mar, 2023
本文探讨了利用大规模社交媒体图像预测 hashtag 的卷积神经网络进行的迁移学习的行为，并展示了相应的实验结果，证明进行大规模预训练能够显著提高图片分类和物体检测任务的表现。
May, 2018
通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。
Aug, 2021
通过调查现有的方法及其在预训练模型上的表现，我们观察到 Generic Pre-training 方法隐含地减轻了多任务学习中遗忘现象的影响，因为预训练权重看起来通过导致更宽的极小值来缓解遗忘现象，基于这个发现，我们建议联合当前任务的损失和损失基底锐度的优化方法，以在顺序微调期间显式地鼓励更宽的基底，在多种设置中实现与最新技术的性能相当的顺序连续学习，而无需保留随任务数缩放的内存。
Dec, 2021