Feb, 2024

基于提示的个性化联邦学习用于医学视觉问答

PDF
TL;DR我们提出了一种新颖的基于提示的个性化联邦学习（pFL）方法，以解决传统医学视觉问答（VQA）方法中的数据异质性和隐私问题。具体而言，我们将来自不同器官的医学数据集视为客户，并使用 pFL 为每个客户训练个性化的基于 Transformer 的 VQA 模型。为了解决以前的 pFL 方法中客户间通信的高计算复杂性，我们提出了一个简洁的信息共享系统，通过引入小的可学习参数提示。此外，所提出的方法引入了一个可靠性参数，以防止低性能和不相关客户的负面影响。最后，对各种异构医学数据集进行了广泛评估，证明了我们提出的方法的有效性。
prompt-based personalized federated learningdata heterogeneityprivacy concernsmedical visual question answeringtransformer-based vqa models
发现论文，激发创造
  • 通过客户特定的提示生成在联邦学习中进行高效模型个性化

    我们提出了一种新型的个性化联邦学习框架 pFedPG，通过在服务器上学习部署个性化提示生成器，生成适应本地数据分布的特定于客户端的视觉提示，以实现从大规模模型中获取强大表示能力同时为异构客户端实现高效个性化模型优化。

    Aug, 2023

  • 联邦文档视觉问答：一项初步研究

    使用联邦学习方案训练基于分散私密文档数据的共享模型，以丰富各种领域中 DocVQA 模型的数据异质性，结合自预训练技术和集中自适应优化的联邦文档 VQA 训练方法优于 FedAvg 基线，并通过大量实验提供关于使用联邦学习训练 DocVQA 模型的多方面分析，为未来相关研究提供洞见。

    May, 2024

  • 联合提示学习中通用化与个性化的协调

    通过使用预先训练的视觉语言模型（VLM）调整提示，联邦提示学习（FPL）将大规模预训练的视觉语言模型（VLM）整合到联邦学习中，以达到在个性化和泛化之间取得平衡的目标。

    May, 2024

  • FedLPPA：联邦弱监督医学图像分割中个性化提示和聚合的学习

    我们提出了一个个性化的联邦学习框架（FedLPPA），用于医学图像分割，该框架利用不完全监督技术，通过学习提示和聚合来统一利用异构的弱监督数据。

    Feb, 2024

  • 联邦学习中的包容性数据表示：将文本与视觉提示集成的新方法

    联邦学习经常受到通信开销问题的阻碍。为了解决这个问题，我们提出了双提示联邦学习（TPFL），它整合了视觉和文本模态以更全面地描绘本地客户端数据特征。此外，为了应对数据异质性问题，我们引入了增强型 TPFL（ATPFL），并采用对比学习技术，不仅增强了客户端模型的全局知识获取能力，还促进了稳健、紧凑模型的发展。我们的详尽评估结果表明，TPFL 和 ATPFL 相比于所有基准模型始终表现出更优异的性能。

    Oct, 2023

  • 面向生成视觉问答的多模态提示检索

    提出了一种结合多模态提示检索和生成模型的方法，该方法可以在医学领域的视觉问题回答任务中比非检索方法提高高达 30％的精度。

    Jun, 2023

  • LaPA：医学视觉问答的潜在提示辅助模型

    给出一个概述只需一句简短的中文描述是：本研究提出了 LaPA 模型，用于医学视觉问答。通过设计潜在提示生成模块、多模态融合块、和先验知识融合模块，利用潜在提示从单模态和多模态特征提取临床相关信息，并结合图像 - 语言跨模态信息预测最终答案。实验结果表明 LaPA 模型在三个公开的医学视觉问答数据集上胜过了现有的最先进模型 ARL，分别在 VQA-RAD、SLAKE 和 VQA-2019 上达到了 1.83%、0.63% 和 1.80% 的改进。

    Apr, 2024

  • 缓解联邦多模式学习中的异质性：基于生物医学视觉语言预训练

    使用具有数据异质性鲁棒性的联邦分布式引导学习框架（FedRGB）解决生物医学 VLP 中异质数据的挑战，从而促进了高效的联邦多模态学习。

    Apr, 2024

  • 具有群组感知提示调整的异构联邦学习

    在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

    Oct, 2023

  • 生物医学自然语言处理的联邦学习系统评估

    通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。

    Jul, 2023