本研究中，我们探讨了多任务学习作为预训练模型用于数字病理分类任务的方法，通过构建 22 个分类任务和近 900k 图像的资源池并使用简单结构和训练策略创建了可转移模型，并提出了一个稳健的模型选优协议，根据目标任务，我们展示了使用我们模型作为特征提取器时，其性能要么显著优于 ImageNet 预训练模型，要么提供相当的性能。Fine-tuning 技术可以恢复 ImageNet 特征的泛化性不足，提高性能。

May, 2020

本文提出了一种检测感知的预训练方法，使用弱标记分类样本集（如 ImageNet）进行预训练，但该方法是专门针对目标检测任务进行设计的，并通过一种基于类激活图的弱监督目标定位方法将分类数据集转换为检测数据集以直接预训练检测器，使得预训练模型具备了位置感知能力和边界框预测能力，结果表明该方法在 VOC 和 COCO 等下游检测任务中的样本效率和收敛速度方面均优于传统的基于分类的预训练方法，在下游任务样本较少时，该方法能大幅度提高检测精度。

Mar, 2021

本文提出了一种基于 Transformer 的深度学习网络，名为 BrainNPT，用于脑功能网络分类，并探讨了使用未标记数据进行预训练的方法，结果表明使用预训练的 BrainNPT 模型可以显著提高分类表现。

May, 2023

提出了一种基于伪标签的条件图像生成和分类的三阶段培训策略，称为双伪训练（DPT），在 Imagenet 数据集上显示了优越性能。

Feb, 2023

本文研究自监督预训练的方法，提出了一种名为 HPT 的 Hierarchical PreTraining 方法，通过在现有预训练模型的基础上初始化预训练过程，加快了模型的收敛时间并提高了准确性，同时还增强了自监督预训练对图像增强策略和预训练数据量变化的鲁棒性，从而提供了一种用更少的计算资源获得更好的预训练表示的简单框架。

Mar, 2021

文章分析了卷积神经网络在物体检测任务上的预训练方法对小规模数据集的图像分类、语义分割和物体检测等任务的影响，并得出了四个关键结论。

Apr, 2019

通过元学习，本文提出了一种基于梯度的高效算法，可以优化预训练超参数，改善了在蛋白质相互作用图和心电图数据上的预测性能。

Nov, 2021

许多设备无法部署，普通对象的预训练数据集，以及潜在的偏见问题限制了大型预训练深度神经网络用于工业应用。本研究从太阳能电池片制造商的真实案例出发，构建了一个从零开始训练的神经网络，其参数更少、不依赖于第三方数据集，但性能与预训练深度神经网络相似。

Jan, 2022

通过引入动态视觉提示调整方法，本研究提出了一种适应多样的医学图像输入变化的参数高效微调方法，命名为 DVPT，该方法从大模型中提取有益于下游任务的知识，可通过仅使用少量可训练参数从零开始训练医学图像分析模型。

Jul, 2023

本文提出了一种名为 Deep Translation Prior（DTP）的新框架，通过在给定的输入图像对上进行测试时间训练，使用未经过训练的网络实现了逼真的样式转移。该框架具有更好的泛化性能，无需离线训练阶段，实验证明了该框架在处理未见过的图像对时具有更好的表现。

Dec, 2021