Oct, 2024

混合适配器的协作高效个性化

HTML
PDF
TL;DR本研究解决了非独立同分布（non-iid）数据在联邦学习中的异质性问题，特别是概念转移引起的异质性。提出了一种名为FLoRAL的参数高效框架，通过低秩适配器（LoRAs）为不同客户端的多任务学习需求提供个性化支持，显示出在内存效率和性能上的优势。实验结果表明，FLoRAL相较于集成模型在个性化和鲁棒性方面表现更佳。
发现论文，激发创造
  • 个性化联邦学习与一阶模型优化

    本文提出了一种个性化的联邦学习方法，通过每个客户只与相关客户联合训练模型，实现客户自定义目标分布的最优加权模型组合，且不需要知道任何数据分布或客户相似性的先验知识，该方法在多个联邦学习场景和数据集下表现优异，同时也支持个性化的迁移学习。

    Dec, 2020

  • 基于结构化和非结构化剪枝的数据异构下的个性化联邦学习

    本文提出了一种针对统计异质性和非独立同分布数据的个性化全局模型联邦学习方法，使用混合剪枝和非结构化剪枝找到每个客户端的小型子网络来实现模型的个性化，实验结果表明，具有相似标签数据的客户端共享类似的个性化参数。

    May, 2021

  • 适应适应性：跨数据源联邦学习个性化学习

    本文提出了APPLE，这是一个个性化的跨平台联邦学习框架，在不均匀的数据集上实现了最先进的性能表现，并灵活控制了全局和本地目标的焦点。

    Oct, 2021

  • 自适应专家模型用于联邦学习中的个性化

    该研究提出了一种针对非IID数据的个性化联邦学习方法，使用专家混合模型来学习相似的客户，即使在病理性非IID环境中，我们的方法仍然能够比本地模型获得高达4.38％的精度优势。

    Jun, 2022

  • Motley：联邦学习中异构性和个性化基准测试

    该研究提出了Motley，一个用于个性化联邦学习的基准测试，并比较了几种代表性的方法，以此来提高发展个性化和异构感知联邦学习以及相关领域的可再生能力，并激起了一些开放性问题。

    Jun, 2022

  • 使用类原型在联邦学习中解决数据异构性

    本文提出了一种名为FedNH的新方法，通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。

    Dec, 2022

  • 基于稀疏模型自适应的高效个性化联邦学习

    提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

    May, 2023

  • UPFL：面向新客户的无监督个性化联邦学习

    在个性化联邦学习领域，当一个联邦模型已经训练和部署，并且有一个未标记的新客户端加入时，为新客户端提供个性化模型是一个极具挑战性的任务。本文针对这一挑战，将自适应风险最小化技术扩展到无监督个性化联邦学习设置中，并提出我们的方法FedTTA。我们通过使用代理正则化和熵提前停止调整来改进FedTTA，进而提出了两种简单而有效的优化策略。此外，我们还针对FedTTA设计了一种专门的知识蒸馏损失，以解决设备异构性问题。针对十一个基准测试，通过对五个数据集进行大量实验，证明了我们提出的FedTTA及其变种的有效性。

    Jul, 2023

  • FedLoRA：具有LoRA调整的异构模型个性化联邦学习

    基于LoRA调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了1.35%，计算开销减少了11.81倍，通信成本降低了7.41倍。

    Oct, 2023

  • 用于联邦基础模型的双个性化适配器

    提出了一个新的设置，称为测试时个性化，其中不仅专注于目标的本地任务，而且扩展到展示测试时分布偏移的其他任务。为了解决这个新设置中的挑战，提出了一个名为FedDPA的双向个性化适配器架构，包括全局适配器和局部适配器，用于解决测试时分布偏移和个性化问题，并引入了一个实例动态加权机制来优化全局和局部适配器之间的平衡，提高整体性能。在不同的自然语言处理任务上对所提出的方法进行了评估。

    Mar, 2024