Jul, 2024

探究联邦参数高效微调对医学图像分类的功效

HTML
PDF
TL;DR在医学成像领域中，大型预训练 Transformer 模型的微调是一个关键问题，训练数据匮乏、数据壁垒以及隐私约束等限制导致这一微调问题更加复杂，因此需要算法来实现预训练模型的协作微调。本研究系统地研究了各种联邦参数效率微调 (PEFT) 策略，以适应在大型自然图像数据集上预训练的 Vision Transformer (ViT) 模型在医学图像分类方面的应用，除了评估现有的 PEFT 技术，还引入了 PEFT 算法的新的联邦变体，例如视觉提示微调 (VPT)、视觉提示的低秩分解、随机块注意力微调以及低秩适应 (LoRA)+VPT 等混合 PEFT 方法。通过彻底的实证分析，本研究确定了联邦设置中的最佳 PEFT 方法，并理解了数据分布对联邦 PEFT 的影响，尤其是对于域外 (OOD) 和非独立同分布 (non-IID) 数据。这项研究的关键见解是，虽然大多数联邦 PEFT 方法适用于域内迁移，但处理OOD和非IID情况（这在医学成像中很常见）时，存在明显的准确性与效率的权衡，其结果是每一个数量级的微调/交换参数减少可能导致4%的准确度下降。因此，在联邦 PEFT 中初步模型的选择非常重要，最好使用基于域内医学图像数据的医学基础模型（若有）。
发现论文，激发创造
  • 医学图像分析的参数高效微调：错过的机会

    本文首次全面评估 Parameter-Efficient Fine-Tuning (PEFT) 技术对不同医学图像分析任务的适用性，通过超过 600 个控制实验，研究并比较了 16 种不同的 PEFT 方法，解决了 PEFT 技术在基础模型中的应用问题，展示了在某些情况下的高达 22% 的表现提高，并证明了 PEFT 对于医学图像识别和文本到图像生成具有实际应用价值。

    May, 2023

  • 医学图片分析的联邦学习: 一项调查

    本文综述了联邦学习在医学图像分析中的最新发展，介绍了联邦学习在处理隐私保护和协作学习问题方面的背景和动机，分类总结了现有的联邦学习方法，并提供了目前联邦学习研究的基准医学图像数据集和软件平台的回顾，同时进行了实验以评估联邦学习方法在医学图像分析中的应用。

    Jun, 2023

  • 通过视觉转换器解决医学联邦学习中的异质性

    在医学联邦学习中，基于优化的正则化方法能够有效解决数据异质性所带来的挑战，特别是在提高少数群体的性能方面。然而，这些方法往往会导致整体模型准确性降低和收敛速度变慢。本文通过展示使用视觉变换器可以显著提高少数群体的性能，同时对整体准确性没有显著的权衡。这种改进归因于视觉变换器能够捕捉输入数据中的长程依赖关系。

    Oct, 2023

  • 少为佳：参数高效微调提升医学视觉基础模型

    通过应用参数高效微调（Parameter-efficient fine-tuning）方法于胸部放射学基础模型上，研究表明该方法在少于1%的可调参数下，比完全参数微调（full-parameter fine-tuning）方法在18个迁移学习任务中有更好的性能，在NIH ChestX-ray14数据集上获得了80.6%的AUROC分数，希望引起社区对于在医学成像任务中使用参数高效微调方法的更多关注。

    Jan, 2024

  • 预训练视觉模型的参数高效微调：一项调查

    规模化预训练视觉模型（PVMs）在各种下游视觉任务中表现出很大的适应性。然而，随着最先进的PVMs达到数十亿甚至数万亿参数，传统的完全微调范式变得难以持续，因为其需要巨大的计算和存储需求。为了应对这一挑战，研究人员正在探索参数高效的微调（PEFT），旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉PEFT的综合概述和未来方向，对最新的进展进行了系统回顾。首先，我们提供了PEFT的正式定义，并讨论了模型预训练方法。然后，我们将现有方法分为三类：基于添加的、基于部分的和基于统一的。最后，我们介绍了常用的数据集和应用，并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。

    Feb, 2024

  • FPT：用于高分辨率医学图像分类的参数和内存高效微调的细粒度提示调整

    提出了一种用于医学图像分类的精细化提示调整（FPT）的参数高效调整方法，FPT相较于其他参数高效调整方法明显降低了内存消耗，并通过引入精细化提示和重要标记选择等技术降低了训练成本和内存需求。

    Mar, 2024

  • 基于稀疏性和混合性灵感的视觉参数高效微调在医学诊断中的应用

    基于LVM的Sparsity和Hybridity特性，利用SH-PEFT方法在医学诊断中通过训练少量的权重，超越了全模型微调，并达到了同其他针对特定医学任务优化的模型可比较的性能，表明大型模型传输在医学诊断中具有巨大潜力。

    May, 2024

  • 任务无关的联邦学习

    应用自监督学习的联邦学习框架，通过使用Vision Transformer作为共识特征编码器进行无监督预训练，能够在各种真实非IID医学图像数据集上进行有效的表示学习，为多任务基础建模提供潜在的方法。

    Jun, 2024

  • 嵌入式提示调整：提高预训练医学图像模型的校准能力

    基于大规模数据进行预训练的基础模型在各种自然成像下游任务中广泛取得成功。参数高效微调方法旨在通过仅更新少量参数以减少计算开销，使基础模型适应新领域。然而，这些参数高效微调方法的有效性，尤其是在跨域少样本场景（如医学图像分析）中，并未完全探讨。本研究旨在促进参数高效微调在将基础模型适应于医学图像分类任务中的性能研究。此外，为了缓解主流提示微调方法中提示引入方式和Transformer架构的逼近能力限制，我们提出了嵌入式提示微调（EPT）方法，通过将提示符嵌入扩展通道。我们还发现基础模型在预训练过程中的特征空间分布存在异常，而提示微调可以帮助缓解此负面影响。为了解释这一现象，我们还引入了一种新颖的视角来理解提示微调： extbf{提示微调是一种分布校准器}。我们通过分析EPT中包含的基于补丁的缩放和特征分离操作来支持这一观点。我们的实验表明，EPT在少样本医学图像分类任务上显著优于几种先进的微调方法，并在竞争激烈的时间内完成微调过程，表明EPT是一种有效的参数高效微调方法。一旦被接受，我们的代码将会发布。

    Jul, 2024

  • 适用于参数高效微调的联邦学习友好型方法在3D分割中的应用

    本研究解决了在联邦学习中进行医学影像分析的模型微调过程中通信成本高的问题。结合参数高效微调和联邦学习的优势，作者通过分析Segment Anything Model (SAM)的各个组成部分，确定了在保证准确度的前提下，能够降低通信成本的特定层级。研究表明，该方法在3D分割任务中通信成本减少约48倍，同时性能提高约6%。

    Jul, 2024