医学影像迁移学习解析

Feb, 2019

Transfusion: Understanding Transfer Learning for Medical Imaging

Maithra Raghu, Chiyuan Zhang, Jon Kleinberg, Samy Bengio

TL;DR本文探讨了用自然图像数据集（ImageNet）通过标准大型模型和预训练权重进行迁移学习在深度学习医学成像应用中的方法。然而，此方法在自然图像分类和目标医学任务之间存在根本差异，并且人们对迁移效果的了解甚少。该研究表明，在两项大规模医学成像任务的性能评估中，迁移学习对性能的提升有限，而简单轻量级模型可以与 ImageNet 架构相当。此外，还探讨了迁移的权重尺度的独立特性，并阐述了对更高效的模型探索的意义。

Abstract

transfer learning from natural image datasets, particularly ImageNet, using standard large models and corresponding pretrained weights has become a de-facto method for deep learning applications to →

transfer learning medical imaging pretrained weights model exploration feature reuse

发现论文，激发创造

医学图像的大规模监督迁移学习

通过研究 Kolesnikov 等人介绍的大规模预训练网络在胸部放射学、乳腺 X 线检查和皮肤科中的转移表现以及其在医学领域中的重要特性，我们发现，将自然图像转移到医学图像中是非常有效的，但只有在足够大的规模下才能实现。

Jan, 2021

深度迁移学习在医学影像中的机制

本研究系统研究了将在 ImageNet 数据上训练的卷积神经网络 (CNN) 在超声图像肾脏检测问题上进行转移学习的过程，并表明通过转移学习可以获得更好的性能。

Apr, 2017

迁移学习在医学图像中的工作原理：特征复用及其它因素

通过对几个医学图像基准数据集的一系列实验，我们探讨了迁移学习、数据大小、模型能力和归纳偏差以及源域与目标域之间的距离之间的关系，并发现特征重用在其中扮演着重要的角色。

Mar, 2022

医学图像分析的迁移学习系统基准测试分析

通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务 fine-grained 数据预训练模型具有独特的局部特征表示，自我监督的 ImageNet 模型比有监督的 ImageNet 更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

Aug, 2021

基于目标的迁移学习改善小型医学物理数据集的性能

本研究评估比较不同的训练神经网络技术，提出为小型数据集提高模型准确度的方法，并发现迁移学习对于重复利用以前学习的特征有重要作用，特别是在医学图像应用中。

Dec, 2019

从稀疏标注的 3D 医学图像数据集进行迁移学习

本研究探索了使用迁移学习来提高医学影像中深度卷积神经网络对器官分割的性能，研究结果表明迁移学习可改善标注的效率和提高准确的器官分割，在医学影像领域具有潜在应用价值。

Nov, 2023

数据源的重要性：医学影像模型的鲁棒性受数据源影响

调查传统学习与样本数据是否能够解释医学图像分类任务中的性能提升，结果显示经 ImageNet 预训练与经 RadImageNet 预训练的模型在分类性能上相似，但 ImageNet 更容易过拟合。建议使用 ImageNet 预训练模型的研究人员进行类似实验以重新评估模型的稳健性。

Mar, 2024

跨领域边界探索迁移学习的实用性：为什么我的医学 AI 要查看鸟类图片？

研究表明，在医疗和自然图像领域中使用自监督的数据预训练可以比在 ImageNet 上表现更好，其可取得可比或更好的效果并展示了基于领域边界的广义间隙和特定领域中学到的特征。

Jun, 2023

利用 ImageNet 的医学图像分析中的迁移学习研究

本研究对新近的使用 ImageNet 数据集进行卷积神经网络预训练之后在医学图像分析方面应用的文章进行了综述，总结了数据处理、方法选择和结果评估等方面的主要趋势，发现存在一些关键的研究缺口。

Apr, 2020

ImageNet 模型的表现是否与迁移学习相关？

比较了 16 种分类网络在 12 个图像分类数据集上的性能表现，发现在使用网络作为固定特征提取器或微调时，ImageNet 准确度与转移学习准确度之间存在强烈的相关性，但是在微调时，ImageNet 的泛化能力较弱，获得了更差的特征。

May, 2018