联邦对抗领域自适应
本文提出了一种基于联邦学习的机器学习分布式范例,可以在保护隐私的前提下进行多方联合重新训练共享模型,并通过用户级领域自适应来提高模型精度,实验结果表明在为FL模型强制实施差分隐私界限时,该技术可以更大程度地提升模型的准确性。
Dec, 2019
提出一种新的基于联邦学习的多目标领域自适应算法,通过对模型性能的分析,发现现有领域自适应方法在面对该问题时存在的问题,并提出一种有效的 DualAdapt 方法来解决这些问题。在图像分类和语义分割任务上的大量实验结果表明,我们的方法在客户端设备上实现高准确度,最小通信成本和所需计算资源低。
Aug, 2021
提出了FedMM优化器,它专为联合对抗领域适应问题而设计,在不平衡标签和未监督任务的极端情况下表现良好。实验结果表明,与基于渐变下降算法的联合优化器相比,FedMM可以显著提高模型的准确性,尤其是在有目标类别不同的客户端中。
Oct, 2021
本文介绍了一种去中心化的联邦域自适应方法(ST-LF),旨在通过将机器学习模型从高质量标记数据的设备传输到低质量或未标记的数据设备来最大限度地利用所有数据。该方法考虑到设备间带宽的限制,通过优化设备的分类和源目标之间的链接形成来实现对通信能量效率和精度之间的权衡。通过数值评估,证明了该方法在精度和能量效率方面都优于现有技术基线。
Apr, 2023
本文提出了Federated Adversarial Cross Training (FACT)方法来解决非i.i.d.数据的情况下,联邦模型适应目标客户端的挑战。通过使用不同领域的源客户端之间的差异来识别目标域中的域漂移,该方法在多源单目标基准测试中优于现有的联邦模型、非联邦模型和单源单目标实验中的最新无监督域自适应模型。
Jun, 2023
该论文提出了一种应对联邦领域自适应的方法,通过字典学习来处理客户端之间存在的分布转移和部分无标签数据的情况。该方法使用经验分布的字典来训练联邦模型,采用协作通信协议和聚合操作来保护客户端数据的隐私,并通过实验证明其在目标领域上成功生成标记数据,并与其集中式对应物和其他基准进行了比较。
Sep, 2023
在现代机器学习模型中,单机上训练这些规模的模型往往变得不现实,因此越来越多的人开始借用联邦学习技术以分布式和协作的方式来训练大规模机器学习模型。然而,当这些模型在新设备上部署时,可能因为领域转移而难以泛化。本文中,我们介绍了RF-TCA,这是对标准的转移组件分析方法的改进,它在不损害理论和实证性能的情况下显著加速了计算过程。利用RF-TCA的计算优势,我们进一步将其扩展到联邦领域适应性设置中的FedRF-TCA。所提出的FedRF-TCA协议在通信复杂度上与样本大小无关,同时保持着与最先进的联邦领域适应性方法相当甚至超过其性能。我们进行了大量实验来展示FedRF-TCA的卓越性能和对网络条件的稳健性。
Nov, 2023
我们介绍了一种在硬件受限环境中用于实现客户端适应性的隐私保护、资源高效的联邦学习概念。通过在源数据上进行服务器模型预训练,并在低端客户端上对目标数据进行细调,我们的方法通过从源域和目标域数据近似的实例级特征统计的概率混合来简化本地客户端适应过程。适应参数传回到中央服务器后进行全局聚合,初步结果表明我们的方法在保持竞争性性能的同时降低了计算和传输成本。
Dec, 2023
在分布式学习中,我们引入了联邦特征多样化的概念,通过利用全局模型参数共享的聚合平均统计数据,每个本地客户端可以使自身的有限领域数据多样化,以实现学习与客户端无关的表示并保护隐私,并且我们提出了一种针对测试领域数据的实例自适应推理方法,通过动态调整特征统计与测试输入的一致性,从而减小测试和训练领域之间的差距,在联邦学习设置下,在几个领域泛化基准上取得了最先进的性能。
Jul, 2024
本研究针对联邦域自适应(FDA)中的数据异质性问题,提出了一种新框架——基于多域原型的联邦微调(MPFT)。MPFT通过丰富域特定信息的多域原型优化预训练模型,在单次通信轮次内显著提升了模型的域内和域外精度,并有效降低了计算与通信成本,同时保证了数据隐私。
Oct, 2024