Sep, 2023

动态学习中联合探索客户漂移和灾难性遗忘

TL;DR联邦学习和持续学习已经被认为是在动态环境中利用深度学习进行稳健和隐私感知的潜在范式。然而,客户端变化和灾难性遗忘是确保一致性性能的根本障碍。我们提出了一个统一的分析框架来构建一个受控的测试环境,用于客户端变化和灾难性遗忘的研究。通过生成一个包括两者的性能影响的三维图像,我们展示了分布变化在混合场景中的行为,为更好的泛化打开了新的途径。我们还发现适度的客户端变化和灾难性遗忘的组合甚至可以提高模型的性能。我们的研究能力允许分析联邦学习和持续学习的现有和新方法。