Aug, 2024

FPT+: 一种参数和内存高效的迁移学习方法用于高分辨率医学图像分类

HTML
PDF
TL;DR该研究解决了在高分辨率医学图像分类中，传统参数微调方法成本高、内存消耗大的问题。通过引入精细化提示调优方法（FPT+），该研究提出了一种轻量侧网络与大规模预训练模型的结合方式，显著降低了内存使用。实验结果表明，FPT+在各种医学图像数据集上表现优越，仅使用1.03%的可学习参数和3.18%的内存，展示了其潜在的应用价值。
发现论文，激发创造
  • 医学图像分析的迁移学习系统基准测试分析

    通过对比自然图像与医学图像，本论文通过大规模评估了不同图像预训练模型在医学图像分析领域的可迁移性，提出了将自然图像模型迁移到医学图像中的实用方法，并发现新的关键性能：针对医学分割任务fine-grained数据预训练模型具有独特的局部特征表示，自我监督的ImageNet模型比有监督的ImageNet更有效地学习整体特征，连续预训练可以缩小自然图像与医学图像领域之间的跨度，有望引导深度学习在医学图像领域的未来研究。

    Aug, 2021

  • 医学图像分析的参数高效微调：错过的机会

    本文首次全面评估 Parameter-Efficient Fine-Tuning (PEFT) 技术对不同医学图像分析任务的适用性，通过超过 600 个控制实验，研究并比较了 16 种不同的 PEFT 方法，解决了 PEFT 技术在基础模型中的应用问题，展示了在某些情况下的高达 22% 的表现提高，并证明了 PEFT 对于医学图像识别和文本到图像生成具有实际应用价值。

    May, 2023

  • DVPT：面向医学图像分析的大型预训练模型的动态视觉提示调优

    通过引入动态视觉提示调整方法，本研究提出了一种适应多样的医学图像输入变化的参数高效微调方法，命名为DVPT，该方法从大模型中提取有益于下游任务的知识，可通过仅使用少量可训练参数从零开始训练医学图像分析模型。

    Jul, 2023

  • 自监督医学图像分析的微调策略再探讨

    我们建立了强大的对比和修复型自监督学习基线，证明中间层的微调对于对比型自监督学习更有效，而第三个季度的微调对于修复型自监督学习更有效。相对于端到端微调的标准，我们的最佳微调策略通过微调网络的前三个季度，相对提高了5.48%的性能，并提出了一种简单且有效的方法来利用多个自监督学习模型的互补优势，与独立使用最佳模型相比提高了3.57%的性能。因此，我们的微调策略不仅增强了个别自监督学习模型的性能，还可以有效利用多个自监督学习模型的互补优势，在自监督医学影像分析中取得了显著的改进。

    Jul, 2023

  • 少为佳：参数高效微调提升医学视觉基础模型

    通过应用参数高效微调（Parameter-efficient fine-tuning）方法于胸部放射学基础模型上，研究表明该方法在少于1%的可调参数下，比完全参数微调（full-parameter fine-tuning）方法在18个迁移学习任务中有更好的性能，在NIH ChestX-ray14数据集上获得了80.6%的AUROC分数，希望引起社区对于在医学成像任务中使用参数高效微调方法的更多关注。

    Jan, 2024

  • FPT：用于高分辨率医学图像分类的参数和内存高效微调的细粒度提示调整

    提出了一种用于医学图像分类的精细化提示调整（FPT）的参数高效调整方法，FPT相较于其他参数高效调整方法明显降低了内存消耗，并通过引入精细化提示和重要标记选择等技术降低了训练成本和内存需求。

    Mar, 2024

  • 医学图像分类中的迁移学习的微调策略的比较

    针对医学影像和机器学习领域的一个主要挑战是如何有效地将预训练模型适应于专门的医学背景。本研究对应用于X光、MRI、组织学、皮肤镜检和内窥镜手术等不同医学影像领域的多种微调方法在预训练模型上的性能进行了全面的分析。结果显示，结合线性探测和全面微调等策略在50%以上的情况下能够明显提高性能，动态调整学习率的自动RGN方法在特定模态下能够提高11%的性能。此外，与传统的全面微调相比，DenseNet结构对替代的微调方法表现出更为显著的优势。本研究不仅为优化医学影像分析中的预训练模型提供了有价值的洞见，而且建议未来研究可以探索更先进的架构和微调方法。

    Jun, 2024

  • 嵌入式提示调整：提高预训练医学图像模型的校准能力

    基于大规模数据进行预训练的基础模型在各种自然成像下游任务中广泛取得成功。参数高效微调方法旨在通过仅更新少量参数以减少计算开销，使基础模型适应新领域。然而，这些参数高效微调方法的有效性，尤其是在跨域少样本场景（如医学图像分析）中，并未完全探讨。本研究旨在促进参数高效微调在将基础模型适应于医学图像分类任务中的性能研究。此外，为了缓解主流提示微调方法中提示引入方式和Transformer架构的逼近能力限制，我们提出了嵌入式提示微调（EPT）方法，通过将提示符嵌入扩展通道。我们还发现基础模型在预训练过程中的特征空间分布存在异常，而提示微调可以帮助缓解此负面影响。为了解释这一现象，我们还引入了一种新颖的视角来理解提示微调： extbf{提示微调是一种分布校准器}。我们通过分析EPT中包含的基于补丁的缩放和特征分离操作来支持这一观点。我们的实验表明，EPT在少样本医学图像分类任务上显著优于几种先进的微调方法，并在竞争激烈的时间内完成微调过程，表明EPT是一种有效的参数高效微调方法。一旦被接受，我们的代码将会发布。

    Jul, 2024

  • 无处不在的预训练：通过目标参数预训练实现医学图像分析的参数高效微调

    本研究解决了现有参数高效微调（PEFT）方法在新参数初始化上的忽视问题，提出了一种基于目标参数预训练（TPP）的微调框架，以促进新引入参数的有效学习。研究表明，TPP在五个公共数据集上的应用显著提高了微调性能，展示了其在医学图像分析中的潜力。

    Aug, 2024

  • 视觉识别中的参数高效迁移学习（PETL）：经验研究的经验教训

    本研究针对参数高效迁移学习（PETL）方法在视觉识别中的应用缺乏系统性研究这一问题，进行了全面的实证研究。通过对各种PETL方法的超参数调整及评估，发现不同方法在准确性上可相似但错误类型不同，提示其在集成方法上的应用潜力。此外，研究表明PETL在大样本任务中同样有效，并在应对分布偏移时优于全量微调模型，这为未来研究指明了方向。

    Sep, 2024