Aug, 2024

在联邦学习中探索选择性层微调

TL;DR本研究针对联邦学习中资源有限的情况下,客户在微调模型时通常仅选择部分层进行调整的问题进行了深入理论探讨。我们提出了一种灵活的方法,允许客户根据本地数据和资源调整选层策略,并证明该策略对模型收敛性有显著影响。我们的实验证明了此方法在识别关键层方面的有效性,特别是在客户异质性和训练动态下的适应性。