ICMLMay, 2024

异构客户的循环早期退出联邦学习

TL;DR联合学习模型中,为了解决客户端硬件要求的不同挑战,本文提出了一种名为 ReeFL 的循环早期退出方法,通过融合不同子模型的特征到一个共享分类器中,利用基于 Transformer 的早期退出模块更好地利用多层次特征表示进行任务预测,并调节主干模型的特征表示用于后续预测,同时,通过每个客户端的自我蒸馏方法,在每个客户端自动选择最佳子模型作为其他子模型的教师模型。在标准图像和语音分类基准测试中,与之前的工作相比,实验证明了 ReeFL 的有效性。