Aug, 2023

FedPop：联邦式基于人口的超参数调优

PDF
TL;DR本文介绍一种名为 FedPop 的新型超参数调整算法，采用基于种群的进化算法来优化分布式机器学习模式中的超参数，从而提高计算效率并探索更广泛的超参数搜索空间。在常见的联邦学习基准和复杂真实世界的联邦学习数据集上进行的实证验证表明，该方法有效性明显优于其他并行处理联邦学习的超参数调整方法。
federated learninghyperparameter tuningdistributed machine learningevolutionary algorithmscomputational efficiency
发现论文，激发创造
  • HPN: 个性化联邦超参数优化

    本文旨在解决个性化联邦超参数优化的双重挑战：处理指数级增加的搜索空间和在不影响数据隐私的情况下表征每个客户端，通过随机投影的编码生成保护客户隐私的客户端编码，并设计了一种新的机制对低保真度样本进行去偏差，使用基于客户端编码的超参数网络（HPN）在各个领域的联邦学习任务上进行广泛实验，展示了 HPN 的优越性。

    Apr, 2023

  • FedPop：个性化联邦学习的贝叶斯方法

    本文提出 FedPop 方法，将个性化联邦学习重新定义为种群建模范式，利用群体参数和随机效应解释数据异质性，并通过马尔科夫链蒙特卡洛方法引入新类联邦随机优化算法提供不确定性量化，从而满足新客户、小观测样本数据的实时学习需求。

    Jun, 2022

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • FedHPL：高效异构联邦学习中的提示调整和逻辑蒸馏

    基于 Prompt 调优和 Logit 蒸馏的参数高效统一的异构联邦学习框架 FedHPL 能够有效应对异构挑战，改善模型性能和加速训练，在多种数据集和模型设置下，性能优于当前最先进的联邦学习方法。

    May, 2024

  • 带自适应调参客户端的联邦学习

    提出了一种名为 Delta-SGD 的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在 73% 的实验中达到 TOP-1 准确度，在 100% 的实验中达到 TOP-2 准确度。

    Jun, 2023

  • FedSelect：个性化联邦学习的参数定制选择

    本文提出了一种新的联邦学习框架，名为 FedSelect，可以通过发现最佳参数进行个性化，并同时进行其他参数进行全局聚合，以此同时地个性化客户子网络结构和参数。

    Jun, 2023

  • 通过表示匹配和自适应超参数实现鲁棒联邦学习

    本文提出了一种解决分散式学习中数据分布不一致、超参数调整等问题的两种方案，分别是特征匹配方案和自适应超参数调整方案，并在多个基准测试中证明，这两种方案可以显著提高性能和训练鲁棒性。

    Dec, 2019

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023

  • 联邦学习中的测试时间鲁棒个性化

    本研究提出了 Federated Test-time Head Ensemble 方法以提高 Federated Learning 模型在部署期间的测试鲁棒性，并在 CIFAR10 和 ImageNet 数据集上展示了其优越性能。同时，也建立了一个评估个性化 FL 方法在部署期间性能和健壮性的基准。

    May, 2022

  • FedSampling：一种更好的联邦学习采样策略

    本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明 FedSampling 可以有效提高联邦学习的性能。

    Jun, 2023