医学图像分类中的迁移学习的微调策略的比较

Jun, 2024

医学图像分类中的迁移学习的微调策略的比较

Comparison of fine-tuning strategies for transfer learning in medical image classification

Ana Davila, Jacinto Colan, Yasuhisa Hasegawa

TL;DR针对医学影像和机器学习领域的一个主要挑战是如何有效地将预训练模型适应于专门的医学背景。本研究对应用于 X 光、MRI、组织学、皮肤镜检和内窥镜手术等不同医学影像领域的多种微调方法在预训练模型上的性能进行了全面的分析。结果显示，结合线性探测和全面微调等策略在 50% 以上的情况下能够明显提高性能，动态调整学习率的自动 RGN 方法在特定模态下能够提高 11% 的性能。此外，与传统的全面微调相比，DenseNet 结构对替代的微调方法表现出更为显著的优势。本研究不仅为优化医学影像分析中的预训练模型提供了有价值的洞见，而且建议未来研究可以探索更先进的架构和微调方法。

Abstract

In the context of medical imaging and machine learning, one of the most pressing challenges is the effective adaptation of pre-trained models

medical imaging machine learning fine-tuning methods pre-trained models performance evaluation

发现论文，激发创造

卷积神经网络用于医学图像分析：完全训练还是微调？

本研究旨在解答在医学图像分析的背景下，如何才能让使用具有足够精细调整过的预训练深度 CNN 能够消除从头开始使用 CNN 进行训练的需求这一核心问题。在考虑了医学成像应用中的分类，检测和分割等方面时，我们的实验结果一致表明：1）使用经过足够精细调整的预训练 CNN 显著优于或者和从头开始训练的 CNN 一样好；2）相比于从头开始训练的 CNN，精细调整的 CNN 更加稳健；3）浅调整和深度调整都不是特定应用的最佳选择；4）我们的逐层精细调整方案可以根据可用数据量为手头的应用程序提供达到最佳性能的实用方法。

Jun, 2017

自监督医学图像分析的微调策略再探讨

我们建立了强大的对比和修复型自监督学习基线，证明中间层的微调对于对比型自监督学习更有效，而第三个季度的微调对于修复型自监督学习更有效。相对于端到端微调的标准，我们的最佳微调策略通过微调网络的前三个季度，相对提高了 5.48% 的性能，并提出了一种简单且有效的方法来利用多个自监督学习模型的互补优势，与独立使用最佳模型相比提高了 3.57% 的性能。因此，我们的微调策略不仅增强了个别自监督学习模型的性能，还可以有效利用多个自监督学习模型的互补优势，在自监督医学影像分析中取得了显著的改进。

Jul, 2023

基于目标的迁移学习改善小型医学物理数据集的性能

本研究评估比较不同的训练神经网络技术，提出为小型数据集提高模型准确度的方法，并发现迁移学习对于重复利用以前学习的特征有重要作用，特别是在医学图像应用中。

Dec, 2019

从稀疏标注的 3D 医学图像数据集进行迁移学习

本研究探索了使用迁移学习来提高医学影像中深度卷积神经网络对器官分割的性能，研究结果表明迁移学习可改善标注的效率和提高准确的器官分割，在医学影像领域具有潜在应用价值。

Nov, 2023

医学图像分析的迁移学习系统基准测试分析

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021

利用 ImageNet 的医学图像分析中的迁移学习研究

本研究对新近的使用 ImageNet 数据集进行卷积神经网络预训练之后在医学图像分析方面应用的文章进行了综述，总结了数据处理、方法选择和结果评估等方面的主要趋势，发现存在一些关键的研究缺口。

Apr, 2020

深度迁移学习在医学影像中的机制

本研究系统研究了将在 ImageNet 数据上训练的卷积神经网络 (CNN) 在超声图像肾脏检测问题上进行转移学习的过程，并表明通过转移学习可以获得更好的性能。

Apr, 2017

医学图像的大规模监督迁移学习

通过研究 Kolesnikov 等人介绍的大规模预训练网络在胸部放射学、乳腺 X 线检查和皮肤科中的转移表现以及其在医学领域中的重要特性，我们发现，将自然图像转移到医学图像中是非常有效的，但只有在足够大的规模下才能实现。

Jan, 2021

跨领域边界探索迁移学习的实用性：为什么我的医学 AI 要查看鸟类图片？

研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

Jun, 2023

医学影像迁移学习解析

本文探讨了用自然图像数据集（ImageNet）通过标准大型模型和预训练权重进行迁移学习在深度学习医学成像应用中的方法。然而，此方法在自然图像分类和目标医学任务之间存在根本差异，并且人们对迁移效果的了解甚少。该研究表明，在两项大规模医学成像任务的性能评估中，迁移学习对性能的提升有限，而简单轻量级模型可以与 ImageNet 架构相当。此外，还探讨了迁移的权重尺度的独立特性，并阐述了对更高效的模型探索的意义。

Feb, 2019