研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

Jun, 2023

通过研究 Kolesnikov 等人介绍的大规模预训练网络在胸部放射学、乳腺 X 线检查和皮肤科中的转移表现以及其在医学领域中的重要特性，我们发现，将自然图像转移到医学图像中是非常有效的，但只有在足够大的规模下才能实现。

Jan, 2021

本文探讨了用自然图像数据集（ImageNet）通过标准大型模型和预训练权重进行迁移学习在深度学习医学成像应用中的方法。然而，此方法在自然图像分类和目标医学任务之间存在根本差异，并且人们对迁移效果的了解甚少。该研究表明，在两项大规模医学成像任务的性能评估中，迁移学习对性能的提升有限，而简单轻量级模型可以与 ImageNet 架构相当。此外，还探讨了迁移的权重尺度的独立特性，并阐述了对更高效的模型探索的意义。

Feb, 2019

本文评估了使用三种 Self-Supervised Pretraining 技术 (SimCLR、SwAV 和 DINO) 预训练的特征在医疗分类任务中的转移能力，并证明相对于监督预训练，自监督预训练模型产生了更丰富的嵌入，利于下游任务的线性评估和模型微调。此外，作者介绍了 Dynamic Visual Meta-Embedding (DVME) 作为一种端到端的迁移学习方法，并证明与单一预训练模型相比，使用 DVME 能显著提高所选任务的性能，并且可以推广到任何预训练模型的组合。

Aug, 2021

本研究评估比较不同的训练神经网络技术，提出为小型数据集提高模型准确度的方法，并发现迁移学习对于重复利用以前学习的特征有重要作用，特别是在医学图像应用中。

Dec, 2019

本研究对新近的使用 ImageNet 数据集进行卷积神经网络预训练之后在医学图像分析方面应用的文章进行了综述，总结了数据处理、方法选择和结果评估等方面的主要趋势，发现存在一些关键的研究缺口。

Apr, 2020

本研究探讨了自监督学习作为医学图像分类的预训练策略的有效性，使用领域特定的无标签医学图像进行自监督学习，并引入一种新颖的多实例对比学习 (MICLe) 方法，为医学图像分析中的皮肤病和胸部 X 光分类任务提供了更为准确的预测。

Jan, 2021

本研究探索了使用迁移学习来提高医学影像中深度卷积神经网络对器官分割的性能，研究结果表明迁移学习可改善标注的效率和提高准确的器官分割，在医学影像领域具有潜在应用价值。

Nov, 2023

针对医学影像和机器学习领域的一个主要挑战是如何有效地将预训练模型适应于专门的医学背景。本研究对应用于 X 光、MRI、组织学、皮肤镜检和内窥镜手术等不同医学影像领域的多种微调方法在预训练模型上的性能进行了全面的分析。结果显示，结合线性探测和全面微调等策略在 50% 以上的情况下能够明显提高性能，动态调整学习率的自动 RGN 方法在特定模态下能够提高 11% 的性能。此外，与传统的全面微调相比，DenseNet 结构对替代的微调方法表现出更为显著的优势。本研究不仅为优化医学影像分析中的预训练模型提供了有价值的洞见，而且建议未来研究可以探索更先进的架构和微调方法。

Jun, 2024

我们在这篇论文中针对医学图像分割中应用迁移学习时的不足，提出了一种新的迁移能力估计方法，该方法考虑了类一致性和特征多样性，通过大量实验证明，在医学图像分割中我们的方法超过了所有现有的迁移能力估计算法。

Jul, 2023