基于多域原型的联邦微调提升联邦域自适应
本文研究了联邦学习在分布式设备网络上的数据隐私和效率问题。我们提出了一种有原则的方法来解决联邦域自适应问题,旨在通过扩展对抗适应技术来对齐不同节点学习到的表征与目标节点数据分布。同时,我们设计了一个动态注意机制和利用特性解缠来增强知识转移。在几个图像和文本分类任务上进行了实证实验,并在无监督联邦域自适应设置下展示了有前途的结果。
Nov, 2019
本文提出了一种基于联邦学习的机器学习分布式范例,可以在保护隐私的前提下进行多方联合重新训练共享模型,并通过用户级领域自适应来提高模型精度,实验结果表明在为FL模型强制实施差分隐私界限时,该技术可以更大程度地提升模型的准确性。
Dec, 2019
针对联邦学习中参与者局部利益与数据准确度不匹配的问题,本文提出并比较了三种本地适应技术,并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为:微调、多任务学习和知识蒸馏。我们的实验结果表明,所有参与者都从本地适应中受益,并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。
Feb, 2020
本文介绍了一种名为PFA的新框架,旨在以联邦方式实现更好的个性化结果。PFA利用神经网络的稀疏性生成隐私保护表示,并使用这些表示来高效识别具有相似数据分布的客户端,从而进行分组并在联邦模型上进行群体式联邦学习来完成自适应过程。该框架能够保障客户端隐私,并在多个FL数据集上通过实验证明了其有效性和优越性。
Mar, 2021
该论文提出了一种应对联邦领域自适应的方法,通过字典学习来处理客户端之间存在的分布转移和部分无标签数据的情况。该方法使用经验分布的字典来训练联邦模型,采用协作通信协议和聚合操作来保护客户端数据的隐私,并通过实验证明其在目标领域上成功生成标记数据,并与其集中式对应物和其他基准进行了比较。
Sep, 2023
在现代机器学习模型中,单机上训练这些规模的模型往往变得不现实,因此越来越多的人开始借用联邦学习技术以分布式和协作的方式来训练大规模机器学习模型。然而,当这些模型在新设备上部署时,可能因为领域转移而难以泛化。本文中,我们介绍了RF-TCA,这是对标准的转移组件分析方法的改进,它在不损害理论和实证性能的情况下显著加速了计算过程。利用RF-TCA的计算优势,我们进一步将其扩展到联邦领域适应性设置中的FedRF-TCA。所提出的FedRF-TCA协议在通信复杂度上与样本大小无关,同时保持着与最先进的联邦领域适应性方法相当甚至超过其性能。我们进行了大量实验来展示FedRF-TCA的卓越性能和对网络条件的稳健性。
Nov, 2023
我们提出了一种更实用的方案,名为Hot-Learning with Contrastive Label Disambiguation(HCLD),解决了Universal Federated Domain Adaptation(UFDA)场景中的领域变化和类别差距问题,并通过使用各个源域的黑盒模型的单热输出来区分共享类和未知类。在三个基准测试上的广泛实验表明,与具有许多额外假设的先前方法相比,我们的HCLD在UFDA场景中以更少的假设达到了可比较的性能。
Nov, 2023
我们介绍了一种在硬件受限环境中用于实现客户端适应性的隐私保护、资源高效的联邦学习概念。通过在源数据上进行服务器模型预训练,并在低端客户端上对目标数据进行细调,我们的方法通过从源域和目标域数据近似的实例级特征统计的概率混合来简化本地客户端适应过程。适应参数传回到中央服务器后进行全局聚合,初步结果表明我们的方法在保持竞争性性能的同时降低了计算和传输成本。
Dec, 2023
通过多源领域自适应的合作性框架,使用最优传输分别进行源领域自适应和目标领域自适应,并利用中央化联合学习架构协同多个源的模型,解决领域自适应中的数据隐私问题。
Apr, 2024
在分布式学习中,我们引入了联邦特征多样化的概念,通过利用全局模型参数共享的聚合平均统计数据,每个本地客户端可以使自身的有限领域数据多样化,以实现学习与客户端无关的表示并保护隐私,并且我们提出了一种针对测试领域数据的实例自适应推理方法,通过动态调整特征统计与测试输入的一致性,从而减小测试和训练领域之间的差距,在联邦学习设置下,在几个领域泛化基准上取得了最先进的性能。
Jul, 2024