通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。

Jul, 2023

医学自然语言处理的一种实用方法，采用联合学习、自然语言处理模型和 NVIDIA 的 NVFlare 框架，结合 BERT 预训练模型来增强病人护理和临床决策制定的准确性和性能，同时解决数据隐私和合规性问题。

Jun, 2023

本文提供了关于联邦学习的概述，并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型，解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向，其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。

May, 2022

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

本文提出了一种基于联邦学习的医学概念嵌入学习方法，通过使用 MIMIC-IV 数据集比较中心化学习和联邦学习的表现，结果发现联邦学习可以达到与中心化学习相近的性能，并且在平均精度上优于本地模型。同时，文章还证明了预训练掩码语言模型可以提高下一次就诊预测任务的性能。

May, 2023

通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。

May, 2024

针对联邦学习中参与者局部利益与数据准确度不匹配的问题，本文提出并比较了三种本地适应技术，并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为：微调、多任务学习和知识蒸馏。我们的实验结果表明，所有参与者都从本地适应中受益，并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。

Feb, 2020

多模态机器学习和联邦学习在医疗领域具有重要意义，并提出了多模态联邦学习在医疗领域的最新方法。此外，研究还揭示了领域中现有挑战的局限性，并提出了未来发展的方向，以满足医疗应用中尖端人工智能技术和患者数据隐私的迫切需求。

Oct, 2023

本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

Jul, 2023

通过比较实验，我们测试了 TensorFlow Federated 和 Flower 两个联邦学习框架在训练疾病预后和细胞类型分类模型上的性能，验证了这两个框架可以在转录组数据上构建模型，而无需将个人原始数据传输给具有丰富计算资源的第三方。

Feb, 2024