本文探讨了用自然图像数据集（ImageNet）通过标准大型模型和预训练权重进行迁移学习在深度学习医学成像应用中的方法。然而，此方法在自然图像分类和目标医学任务之间存在根本差异，并且人们对迁移效果的了解甚少。该研究表明，在两项大规模医学成像任务的性能评估中，迁移学习对性能的提升有限，而简单轻量级模型可以与ImageNet架构相当。此外，还探讨了迁移的权重尺度的独立特性，并阐述了对更高效的模型探索的意义。

Feb, 2019

本研究评估比较不同的训练神经网络技术，提出为小型数据集提高模型准确度的方法，并发现迁移学习对于重复利用以前学习的特征有重要作用，特别是在医学图像应用中。

Dec, 2019

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

通过研究Kolesnikov等人介绍的大规模预训练网络在胸部放射学、乳腺X线检查和皮肤科中的转移表现以及其在医学领域中的重要特性，我们发现，将自然图像转移到医学图像中是非常有效的，但只有在足够大的规模下才能实现。

Jan, 2021

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务fine-grained数据预训练模型具有独特的局部特征表示，自我监督的ImageNet模型比有监督的ImageNet更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021

本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

Aug, 2021

通过对几个医学图像基准数据集的一系列实验，我们探讨了迁移学习、数据大小、模型能力和归纳偏差以及源域与目标域之间的距离之间的关系，并发现特征重用在其中扮演着重要的角色。

Mar, 2022

研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

Jun, 2023

自监督预训练在医学图像诊断任务中通过改善特征表示进而提高了下游任务性能，尤其是在无标注样本数量远远超过有标注样本数量时。该综述总结了近期在X射线、计算机断层扫描、磁共振和超声成像领域中应用自监督预训练与全监督学习相比较的研究，最重要的发现是自监督预训练普遍提高了诊断任务的性能。基于综合证据，为考虑使用自监督学习的实践者提供了相关的建议，同时针对当前研究中存在的局限性，提出了未来研究的方向与实践，如将临床知识与理论基础的自监督学习方法结合、在公共数据集上进行评估、扩展对超声成像领域的研究证据，以及表征自监督预训练对泛化性能的影响。

Sep, 2023

通过挑选适当的源数据和模型、选择合适的迁移学习框架以及用适当的基线验证迁移学习模型，我们提倡在医疗研究中实现具有行动性的结构化医疗数据的迁移学习，解决地区差异、不平等和隐私约束问题。

Jul, 2024