May, 2024

生物医疗健康中联邦基础模型的挑战与机遇

PDF
TL;DR该调查研究了基本模型（FM）在人工智能中的转化影响，重点关注其与联邦学习（FL）相结合在推进生物医学研究中的应用。基于巨大数据集通过无监督预训练、自监督学习、指导微调和人类反馈强化学习等方法训练的基本模型，如 ChatGPT、LLaMa 和 CLIP，代表了机器学习的重要进展。这些模型具有生成连贯文本和逼真图像的能力，在需要处理包括临床报告、诊断图像和多模态患者互动等多样数据形式的生物医学应用中发挥关键作用。将联邦学习与这些复杂模型结合起来，为利用其分析能力同时保护敏感医疗数据的隐私提供了有前途的策略。这种方法不仅提升了基本模型在医学诊断和个性化治疗方面的能力，还解决了医疗保健中数据隐私和安全的重要问题。该调查回顾了基本模型在联邦环境中的当前应用，强调了挑战，并确定了未来的研究方向，包括扩展基本模型、管理数据多样性以及提高联邦学习框架内的通信效率。旨在鼓励进一步研究基本模型和联邦学习的结合潜力，为突破性的医疗创新奠定基础。
发现论文，激发创造
  • 基于基础模型的联邦学习的进展与开放挑战

    综合调查了联邦基础模型（FedFM）领域，阐明了其与联邦学习（FL）的协同关系，并探索了 FL 研究领域在基础模型时代需要关注的新方法、挑战和未来方向。提出了一种系统的多层次分类法，对现有的 FedFM 方法进行了分类。全面讨论了关键挑战，包括如何使 FL 处理高复杂性的计算需求、隐私考虑、贡献评估和通信效率。这项调查强调了在 FedFM 领域进行进一步研究以推动创新的重要性，强调了开发可信解决方案的需求。作为研究人员和从业者参与这个跨学科和快速发展领域的基础指南。

    Apr, 2024

  • 基础模型与联邦学习的相遇：动机、挑战和未来方向

    本文探讨了基础模型和联邦学习之间的相互作用，旨在深化其协同作用的理解并挖掘这两个领域的潜力，鼓励未来的研究方向，以进一步提高隐私保护和可伸缩性的人工智能系统的发展。

    Jun, 2023

  • 基于联邦学习的基础模型协同优化：一项综述

    基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。

    Jun, 2024

  • 联邦基础模型：大型模型的隐私保护和协同学习

    本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。

    May, 2023

  • 评估基于基础模型的联邦学习的稳健性、隐私性和公平性

    通过将基础模型整合到联邦学习中，我们研究了其对稳健性、隐私和公平性的影响，并提出了一套应对这些挑战的标准和策略，同时确定了推进该领域的潜在研究方向，为构建可靠、安全和公平的联邦学习系统奠定了基础。

    Feb, 2024

  • 在无线世界中基于模型的联邦学习的作用

    研究了基础模型在无线网络的联邦学习中的适用性，并探讨了集成基础模型和联邦学习实现未来智能网络的多个新范例和相关研究方向。

    Oct, 2023

  • 医学基础模型综述

    基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

    Jun, 2024

  • 生物医学自然语言处理的联邦学习系统评估

    通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。

    Jul, 2023

  • 使用递归与注意力模型以及 NVFlare 进行多地点临床联合学习

    医学自然语言处理的一种实用方法，采用联合学习、自然语言处理模型和 NVIDIA 的 NVFlare 框架，结合 BERT 预训练模型来增强病人护理和临床决策制定的准确性和性能，同时解决数据隐私和合规性问题。

    Jun, 2023

  • 医疗中的联邦学习：模型不端、安全挑战、应用及未来研究方向 -- 系统综述

    通过分析医疗保健领域中已经存在的研究文献，本研究系统评估了联邦学习在提供隐私保护的同时维护医疗数据分析的完整性和可用性方面的效力，同时探讨了实际应用及其影响，突出未来的研究方向，旨在完善联邦学习的实现、增强数据安全协议，并将联邦学习拓展到更广泛的医疗应用领域，为未来的研究人员和实践者提供帮助。

    May, 2024