适用于参数高效微调的联邦学习友好型方法在3D分割中的应用
本研究介绍了第一个使用联邦学习实现多机构协作、不共享患者数据的深度学习模型,结果表明它在多模态脑扫描的分割方面的性能与共享数据的训练模型相似,在与另外两种合作学习方法的比较中也取得了最佳结果。
Oct, 2018
本文提出了一种名为 ELCSF 的新方法,采用连续频率空间插值机制通过保护隐私的方式在客户端间传输分布信息,实现从多个分布式来源域学习联合模型,以便在医学图像分割场景中实现模型泛化,并通过两项医学图像分割任务的实验和深入的剖析实验表明了我们方法的有效性。
Mar, 2021
提出了一种名为Federated Alternate Training (FAT)的替代训练框架,该框架可以使用具有注释数据的数据集和不带注释数据的数据集交错训练,其中不带注释的数据集使用全局分割模型生成伪标签进行自我监督学习,适用于医学成像数据集的隐私保护训练。
Apr, 2023
通过使用基础模型的巨大预训练知识作为以医学图像分割任务为例的FL模型初始化的指导教师,本研究首次尝试将基础模型作为FL初始化的教师,评估其对FL模型性能的影响,尤其是在非独立同分布数据场景中。经验评估结果表明,在胸部X光肺分割任务中,FL模型初始化指导下的FL不仅能实现更快的收敛,而且在复杂数据情境中也能提高性能,为FL中的模型初始化提供了新的视角。
Nov, 2023
我们提出了一种名为DrFRODA的计算机友好、隐私保护的医学图像分割技术,利用联邦学习以在线方式适应模型,并通过医生的反馈进行改进。我们在公开可用数据集上的实验结果表明,所提出的基于分布式主动学习的在线适应方法优于无监督的在线适应方法,并且与离线主动学习的适应方法具有竞争力的结果。
Dec, 2023
通过引入基于高斯混合模型的客户端噪声估计,将其以逐层的方式纳入模型聚合,从而提高高质量客户端的权重,我们提出了一种名为FedA^3I的注释质量感知的联邦学习聚合方法,该方法优于现有的处理跨客户端注释噪声的方法。
Dec, 2023
开发了分布式医学图像分割模型 (FedFMS),其中包括联邦 SAM (FedSAM) 和用于医学图像的通信和训练高效性的联邦 SAM 适配器 (FedMSA)。通过对各种 FedFMS 配置的多样数据集进行全面实验,发现 FedFMS 可在保持隐私的同时,达到与集中式训练方法相媲美的性能,并且 FedMSA 可提高通信和训练的效率。
Mar, 2024
本论文提出了一种针对医学图像分割的新型联邦半监督学习框架,引入了客户端内和客户端间的一致性学习,通过客户端合作训练的变分自编码器(VAE)协助实现,相比其他联邦半监督学习方法,实验结果表明本方法性能更好且避免了大量的计算和通信开销。
Mar, 2024
提出SAM-Med3D-MoE框架,将任务特定的微调模型与基础模型无缝集成,通过额外的门控网络实现在各自任务上与原始模型相当的性能,为医学图像分析中的特定领域适应基础模型提供新的框架。
Jul, 2024
在医学成像领域中,大型预训练 Transformer 模型的微调是一个关键问题,训练数据匮乏、数据壁垒以及隐私约束等限制导致这一微调问题更加复杂,因此需要算法来实现预训练模型的协作微调。本研究系统地研究了各种联邦参数效率微调 (PEFT) 策略,以适应在大型自然图像数据集上预训练的 Vision Transformer (ViT) 模型在医学图像分类方面的应用,除了评估现有的 PEFT 技术,还引入了 PEFT 算法的新的联邦变体,例如视觉提示微调 (VPT)、视觉提示的低秩分解、随机块注意力微调以及低秩适应 (LoRA)+VPT 等混合 PEFT 方法。通过彻底的实证分析,本研究确定了联邦设置中的最佳 PEFT 方法,并理解了数据分布对联邦 PEFT 的影响,尤其是对于域外 (OOD) 和非独立同分布 (non-IID) 数据。这项研究的关键见解是,虽然大多数联邦 PEFT 方法适用于域内迁移,但处理OOD和非IID情况(这在医学成像中很常见)时,存在明显的准确性与效率的权衡,其结果是每一个数量级的微调/交换参数减少可能导致4%的准确度下降。因此,在联邦 PEFT 中初步模型的选择非常重要,最好使用基于域内医学图像数据的医学基础模型(若有)。
Jul, 2024