MMAug, 2022

使用权重更新量减少联邦学习中系统异构的影响

PDF
TL;DR本文提出了一种基于性能和准确性反馈的动态子模型技术 Invariant Dropout，以解决联合学习中由于部分设备性能低下而导致的性能瓶颈问题，并使用五个真实的移动客户端进行了评估，显示 Invariant Dropout 可以最大程度地提高 1.4％的准确性，同时减轻了残留者的性能瓶颈。
发现论文，激发创造
  • FLuID: 使用不变权重抑制缓慢计算节点的联邦学习方法

    使用不变的消失法 (FluID) 和自适应训练框架来解决异构训练环境中的低性能设备导致的性能瓶颈问题。

    Jul, 2023

  • 联邦 Dropout—— 一种简单的方法，在资源受限设备上实现联邦学习

    本文提出一种名为 Federated dropout (FedDrop) 的联邦式学习方案，该方案利用经典的 dropout 算法进行随机模型修剪。该方案可在减少通信开销和设备计算负载的同时，表现出比传统的 FL 和具有相同概率的子网的 FL 方案更好的效果。

    Sep, 2021

  • FedSPU: 面向资源受限设备的个性化联邦学习与随机参数更新

    个性化联邦学习中，采用较小规模的本地子模型的联邦丢弃策略会引入偏差，因此我们提出了联邦学习与随机参数更新的方法，通过冻结部分神经元来增强模型对于他人偏差参数的鲁棒性，并引入早停机制来显著减少训练时间。

    Mar, 2024

  • 自适应联邦 Dropout：提高联邦学习的通信效率和泛化能力

    本文介绍了一种名为自适应联邦 Dropout（AFD）的新型技术，用于减少联邦学习中与通信成本相关的问题，此策略与现有压缩方法相结合可以提供高达 57 倍的收敛时间，同时还改善了模型泛化。

    Nov, 2020

  • 处理联合学习中无限陈旧问题：数据与设备异构相互交织

    在联邦学习中，通过使用梯度反转技术将旧的模型更新转换为新的模型更新，我们提出了一种新的框架来有效地解决客户端模型更新的过时性问题，实验证明，我们的方法可以显著提高训练模型的准确性高达 20％，并加速联邦学习进程高达 35％。

    Sep, 2023

  • 通过层次训练和深度丢弃解决资源受限条件下的联邦学习

    大型机器学习模型通过联合学习和层级学习以解决资源限制问题，并在边缘设备上有效地训练更大型的模型，同时保持与传统联合学习相当的性能。

    Sep, 2023

  • 降低异构设备中联邦学习的群体偏差

    我们提出了一个群体公平的联邦学习框架，旨在在保护隐私和没有资源利用开销的情况下，减少群体偏见。我们通过利用平均条件概率来计算由异构训练数据得出的跨领域群体重要性权重，使用修改的乘法权重更新方法来优化表现最差的群体的性能。此外，我们提出了正则化技术来最小化最差和最好表现群体之间的差异，同时通过阈值机制确保在减少偏见和群体表现下降之间取得平衡。我们对人类情绪识别和图像分类基准进行了评估，以评估我们的框架在实际异构环境中的公平决策能力。

    Sep, 2023

  • 非独立同分布数据下的联邦学习

    本文着重研究了在本地数据不 IID 的情况下联邦学习面临的统计挑战，提出了一个使用全局数据子集来提高非 IID 数据训练准确性的解决方案，并通过实验表明，使用仅占 5％的全局数据子集就可以将 CIFAR-10 数据集的准确性提高 30％。

    Jun, 2018

  • 移动边缘网络中基于分层部分模型训练的抗闲杂器弹性联邦学习：应对计算异质性

    联邦学习通过协作训练模型，避免数据共享，适用于资源有限的设备。本文提出了一种面向模型异构性的联邦学习算法，称为联邦部分模型训练（FedPMT），通过设备之间合作训练局部模型并贡献到全局模型，从而实现全局模型的优化训练。理论分析表明，与传统方法相比，FedPMT 算法具有类似的收敛速度，实证结果也证明其在学习准确性和完成时间之间取得了更好的平衡。

    Nov, 2023

  • 基于贝叶斯推断的自适应 dropout 联邦学习：通信高效且准确性保证的 FedBIAD

    在这篇论文中，我们提出了一种基于贝叶斯推理的自适应辍学方法（FedBIAD），通过逐行将局部模型权重转化为概率分布，并自适应地根据与本地训练损失趋势相关的重要性指标辍掉部分权重行，从而在减少上行通信成本的同时提高准确性，理论分析证明 FedBIAD 的平均泛化误差的收敛速度是最小最大的，甚至在非独立同分布数据上可以提高 2.41% 的准确率，并最多缩短 72% 的训练时间。

    Jul, 2023