Oct, 2024

FedGTST：通过统计调优提升联邦模型的全球可迁移性

HTML
PDF
TL;DR本研究针对现有联邦学习方法在全球学习领域的可迁移性不足的问题，提出了改进方案。通过引入客户端-服务器交换协议及增加客户端间Jacobian规范的平均值，旨在降低跨客户端Jacobian方差，从而更好地控制目标损失。实验结果表明，该方法在多个数据集上相比于现有基线显著提升了准确率。
发现论文，激发创造
  • 面向实例自适应的联邦学习推理

    该论文提出了一种新颖的FL算法（FedIns）来处理FL框架中的内部客户数据异质性，并通过在FL框架中实现实例自适应推理来减少内部客户和跨客户之间的异质性，实验证明FedIns在Tiny-ImageNet上比现有FL算法表现更好（多于6.64%的性能提升，且通信成本不到15%），代码和模型将在公开发布。

    Aug, 2023

  • FedSoL: 在联合学习中桥接全球对齐和本地通用性

    通过结合全局对齐和局部普遍性的概念，我们提出了名为FedSoL的联邦稳定学习方法，该方法在寻求抵御邻近扰动的参数区域时，既可维持原始局部目标进行参数更新，又能在局部学习中引入一种隐式的邻近限制效果。进行了一系列实验表明，FedSoL在各种场景下始终保持最先进的性能。

    Aug, 2023

  • 利用自由客户在联邦学习中进行模型增强

    FedALIGN是一种选择参与联邦学习的非优先客户的匹配策略，基于他们的模型损失与全局数据的相似程度，以确保只有在对优先客户有益时才使用非优先客户的梯度，从而实现非优先客户的加入动机和优先客户的资源利用，且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。

    Oct, 2023

  • FedCode: 通过传输密码本实现高效沟通的联邦学习

    FedCode是一种降低通信量的分布式机器学习方法，通过只传输代码簿来有效减少客户端与服务器之间的数据交互，同时保持与FedAvg相当的模型性能。

    Nov, 2023

  • FedImpro:度量与提升联邦学习中的客户端更新

    通过生成改进的本地模型来减轻分布不同的客户机之间的客户漂移，并增强模型的泛化性能。

    Feb, 2024

  • 联邦迁移学习综述：挑战、方法与应用

    联邦学习（FL）是一种新颖的分布式机器学习范式，通过消除数据共享要求，使参与者能够协同训练中央模型并保护隐私。联邦学习涉及多个参与者，并要求第三方汇总全局信息以指导目标参与者的更新。为解决此问题，联邦迁移学习（FTL）吸引了众多研究者的关注。本综述聚焦于对当前联邦迁移学习进展的分类和综述，并概述相关解决方案和应用。

    Mar, 2024

  • FedTrans: 异质客户端之间的高效联合学习通过模型转换

    FedTrans是一个多模型联邦学习训练框架，可以自动为大规模异构客户端生成和训练高准确性、硬件兼容的模型，显著提高了个体客户端模型的准确性并降低了训练成本。

    Apr, 2024

  • FedStale：在联邦学习中利用陈旧的客户端更新

    FedStale是一种新颖的算法，通过在每一轮中使用参与客户端的新鲜更新和未参与客户端的陈旧更新的一个凸组合来更新全局模型，以此在处理数据和参与度异质性方面超越了之前的方法。

    May, 2024

  • FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏

    基于Prompt调优和Logit蒸馏的参数高效统一的异构联邦学习框架FedHPL能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。

    May, 2024

  • FedFT：通过频率空间变换提高联邦学习的通信性能

    本研究解决了联邦学习中通信效率低下的问题，提出了一种名为FedFT的方法，该方法利用离散余弦变换（DCT）将模型参数表示为频率空间，从而实现高效压缩并减少通信开销。实验结果表明，FedFT能够显著减少5%至30%的通信开销，同时保持或提高模型的准确性，展示了其在分布式系统中的广泛适用性。

    Sep, 2024