本文提出使用自注意力机制的神经网络模型（如Transformer），替代传统的卷积神经网络模型，以改进联邦学习中的模型性能和稳定性，尤其当处理异构数据的时候，可以大大降低模型遗忘和加快模型学习收敛速度。

Jun, 2021

本论文研究了一个名为Federated Semi-supervised Learning的实际而具有挑战性的问题，旨在通过联合利用标记和未标记客户的数据来学习联邦模型，并提供了一种新颖的方法来通过与新的客户关系匹配方案来改进传统的一致性正则化机制在实际医院数据集上的有效性得到了证明。

Jun, 2021

本文提出了以三个真实的数据集为基础的FL算法实验基准及考虑性能和成本的经济模型，同时还引入了一个结合了FedProx和FedBN的FL方法FedPxN，其在性能方面优于其他FL算法，并只消耗比最省电的方法略高一些的功耗。

Jul, 2022

本文提出了一种名为MDH-FL的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。

Jul, 2023

在医学联邦学习中，基于优化的正则化方法能够有效解决数据异质性所带来的挑战，特别是在提高少数群体的性能方面。然而，这些方法往往会导致整体模型准确性降低和收敛速度变慢。本文通过展示使用视觉变换器可以显著提高少数群体的性能，同时对整体准确性没有显著的权衡。这种改进归因于视觉变换器能够捕捉输入数据中的长程依赖关系。

Oct, 2023

在本文中我们通过系统分析每个类别在不同通信轮次中的本地训练中的遗忘程度，填补了对易受损类别及其影响因素的全面认识的空白。我们的观察是：(1)不见类别和非主导类别在本地训练中都遭受到了相似的严重遗忘，而主导类别的性能有所改善。(2)当动态减少一个主导类别的样本数量时，当其样本比例低于一定阈值时会突然发生灾难性遗忘，这表明本地模型在有效利用特定类别的少量样本以防止遗忘方面存在困难。受到这些发现的启发，我们提出了一种新颖且直接的算法称为Federated Knowledge Anchor (FedKA)。在每个本地训练阶段之前，我们通过提取缺失类别的共享样本和随机选择每个非主导类别的一个样本构建知识锚。然后利用知识锚来校正每个小批量的梯度，以保留缺失和非主导类别的知识。大量的实验结果表明，我们提出的FedKA算法实现了快速稳定的收敛，在流行的基准测试中显著提高了准确性。

Dec, 2023

我们应用联邦学习方法对一个OCT图像分类器进行训练，模拟具有多个客户和统计异构数据分布的实际情景，其中客户的数据中完全缺少某些类别的样本。

Feb, 2024

使用具有数据异质性鲁棒性的联邦分布式引导学习框架（FedRGB）解决生物医学VLP中异质数据的挑战，从而促进了高效的联邦多模态学习。

Apr, 2024

本研究探索了医疗数据领域中联邦学习的数学形式化和异质性分类，重点检验了最流行的联邦学习算法在处理基于数量、特征和标签分布的异质性方面的能力，并基于这些挑战对七种常见的联邦学习算法进行了性能评估。研究目标是通过一组由不同的联邦医院数据集收集的表格性临床报告预测中风复发的风险，讨论了这种场景中经常遇到的数据异质性及其对联邦学习性能的影响。

Apr, 2024

本研究针对联邦学习中客户数据异质性问题，该问题导致局部模型之间的偏差，影响全局模型的效果。我们提出了一种新颖的联邦学习方法FedLD，通过全局损失分解来共同减少局部损失、分布偏移损失和聚合损失，从而在不同数据异质性水平下实现了更好的性能和更强的鲁棒性，尤其是在视网膜和胸部X光图像分类任务中。

Aug, 2024