通过视觉转换器解决医学联邦学习中的异质性
本论文研究了一个名为Federated Semi-supervised Learning的实际而具有挑战性的问题,旨在通过联合利用标记和未标记客户的数据来学习联邦模型,并提供了一种新颖的方法来通过与新的客户关系匹配方案来改进传统的一致性正则化机制在实际医院数据集上的有效性得到了证明。
Jun, 2021
本文提出了一种新的异构感知联邦学习方法SplitAVG,通过利用网络分割和特征图拼接策略,鼓励联邦模型训练目标数据分布的无偏估计器,与其他方法相比,该方法可以有效地克服来自不同医学机构的数据分布异质性所带来的性能下降,并可泛化到各种类型的医学图像任务。
Jul, 2021
本文提出了以三个真实的数据集为基础的FL算法实验基准及考虑性能和成本的经济模型,同时还引入了一个结合了FedProx和FedBN的FL方法FedPxN,其在性能方面优于其他FL算法,并只消耗比最省电的方法略高一些的功耗。
Jul, 2022
本文综述了联邦学习在医学图像分析中的最新发展,介绍了联邦学习在处理隐私保护和协作学习问题方面的背景和动机,分类总结了现有的联邦学习方法,并提供了目前联邦学习研究的基准医学图像数据集和软件平台的回顾,同时进行了实验以评估联邦学习方法在医学图像分析中的应用。
Jun, 2023
本文提出了一种名为MDH-FL的方法,利用数据和模型的异质性,通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率,实验证明该方法在医学数据集上比现有方法表现出更好的优越性。
Jul, 2023
本文系统地研究了不同建筑元素,如激活函数和标准化层,对异构联邦学习中的性能的影响,并提供了关于异构联邦学习微体系结构设计原则的指导,发现纯CNN在处理异构数据客户端时,通过战略性的架构修改能够达到与Vision Transformer相匹配甚至超越其在鲁棒性方面的表现,并且该方法与现有的联邦学习技术兼容,在联邦学习基准测试中提供了最先进的解决方案。
Oct, 2023
本研究探索了医疗数据领域中联邦学习的数学形式化和异质性分类,重点检验了最流行的联邦学习算法在处理基于数量、特征和标签分布的异质性方面的能力,并基于这些挑战对七种常见的联邦学习算法进行了性能评估。研究目标是通过一组由不同的联邦医院数据集收集的表格性临床报告预测中风复发的风险,讨论了这种场景中经常遇到的数据异质性及其对联邦学习性能的影响。
Apr, 2024
在医学成像领域中,大型预训练 Transformer 模型的微调是一个关键问题,训练数据匮乏、数据壁垒以及隐私约束等限制导致这一微调问题更加复杂,因此需要算法来实现预训练模型的协作微调。本研究系统地研究了各种联邦参数效率微调 (PEFT) 策略,以适应在大型自然图像数据集上预训练的 Vision Transformer (ViT) 模型在医学图像分类方面的应用,除了评估现有的 PEFT 技术,还引入了 PEFT 算法的新的联邦变体,例如视觉提示微调 (VPT)、视觉提示的低秩分解、随机块注意力微调以及低秩适应 (LoRA)+VPT 等混合 PEFT 方法。通过彻底的实证分析,本研究确定了联邦设置中的最佳 PEFT 方法,并理解了数据分布对联邦 PEFT 的影响,尤其是对于域外 (OOD) 和非独立同分布 (non-IID) 数据。这项研究的关键见解是,虽然大多数联邦 PEFT 方法适用于域内迁移,但处理OOD和非IID情况(这在医学成像中很常见)时,存在明显的准确性与效率的权衡,其结果是每一个数量级的微调/交换参数减少可能导致4%的准确度下降。因此,在联邦 PEFT 中初步模型的选择非常重要,最好使用基于域内医学图像数据的医学基础模型(若有)。
Jul, 2024
本研究针对联邦学习中客户数据异质性问题,该问题导致局部模型之间的偏差,影响全局模型的效果。我们提出了一种新颖的联邦学习方法FedLD,通过全局损失分解来共同减少局部损失、分布偏移损失和聚合损失,从而在不同数据异质性水平下实现了更好的性能和更强的鲁棒性,尤其是在视网膜和胸部X光图像分类任务中。
Aug, 2024
本研究解决了标准深度学习分类方法在临床应用中的局限性,特别是由于数据异构性导致的优化收敛问题。论文提出了一种名为FedImpres的新方法,通过恢复代表全球信息的合成数据来缓解局部训练中的灾难性遗忘现象。实验结果表明,该方法在BloodMNIST和Retina数据集上达到了业界领先的性能,分类准确率提高了多达20%。
Sep, 2024