联邦多目标域自适应
本文研究了联邦学习在分布式设备网络上的数据隐私和效率问题。我们提出了一种有原则的方法来解决联邦域自适应问题,旨在通过扩展对抗适应技术来对齐不同节点学习到的表征与目标节点数据分布。同时,我们设计了一个动态注意机制和利用特性解缠来增强知识转移。在几个图像和文本分类任务上进行了实证实验,并在无监督联邦域自适应设置下展示了有前途的结果。
Nov, 2019
本文提出了一种基于联邦学习的机器学习分布式范例,可以在保护隐私的前提下进行多方联合重新训练共享模型,并通过用户级领域自适应来提高模型精度,实验结果表明在为FL模型强制实施差分隐私界限时,该技术可以更大程度地提升模型的准确性。
Dec, 2019
本文提出了一种联合优化聚类域自适应与联邦学习的方法来解决隐私约束下使用的人脸识别问题,并在新构建的基准测试数据集上进行了广泛的实验,证明在不同的评估指标上,该方法在目标域上的表现优于基线和经典方法3%至14%。
Apr, 2022
本文介绍了一种去中心化的联邦域自适应方法(ST-LF),旨在通过将机器学习模型从高质量标记数据的设备传输到低质量或未标记的数据设备来最大限度地利用所有数据。该方法考虑到设备间带宽的限制,通过优化设备的分类和源目标之间的链接形成来实现对通信能量效率和精度之间的权衡。通过数值评估,证明了该方法在精度和能量效率方面都优于现有技术基线。
Apr, 2023
在联邦学习场景下,我们提出一种基于对比学习和Vision Transformer(ViT)的模型方法FDAC,目的是通过操作ViT的潜在架构来学习可转移的表示,同时通过域增强和语义匹配来增加目标数据的多样性,实验结果表明,FDAC在大多数情况下都优于所有比较方法,并且还可以提高通信效率。
May, 2023
本研究介绍了一种名为Federated Dual Prompt Tuning (Fed-DPT)的新方法,利用预训练的视觉-语言模型并应用视觉和文本提示调整来解决领域移位问题,并通过实验证明了其在领域感知的联邦学习中的重要有效性。
Oct, 2023
在现代机器学习模型中,单机上训练这些规模的模型往往变得不现实,因此越来越多的人开始借用联邦学习技术以分布式和协作的方式来训练大规模机器学习模型。然而,当这些模型在新设备上部署时,可能因为领域转移而难以泛化。本文中,我们介绍了RF-TCA,这是对标准的转移组件分析方法的改进,它在不损害理论和实证性能的情况下显著加速了计算过程。利用RF-TCA的计算优势,我们进一步将其扩展到联邦领域适应性设置中的FedRF-TCA。所提出的FedRF-TCA协议在通信复杂度上与样本大小无关,同时保持着与最先进的联邦领域适应性方法相当甚至超过其性能。我们进行了大量实验来展示FedRF-TCA的卓越性能和对网络条件的稳健性。
Nov, 2023
我们提出了一种多源协作梯度差异最小化(MCGDM)方法来实现联邦领域泛化,通过在原始图像和增强图像之间进行域内梯度匹配来避免过拟合孤立领域内的领域特定信息,同时通过与其他领域的合作进行域间梯度匹配,进一步减小分散领域之间的领域差异,通过结合域内和域间梯度匹配,我们的方法在未知领域上具有良好的泛化能力,同时还可以通过在伪标记的目标领域上微调目标模型来扩展到联邦领域适应任务,在联邦领域泛化和适应的广泛实验表明,我们的方法明显优于现有的方法。
Jan, 2024
通过多源领域自适应的合作性框架,使用最优传输分别进行源领域自适应和目标领域自适应,并利用中央化联合学习架构协同多个源的模型,解决领域自适应中的数据隐私问题。
Apr, 2024
FedCAda是一种创新的联邦客户自适应算法,利用Adam算法在客户端调整一阶矩估计$m$和二阶矩估计$v$的修正过程,并在服务器端聚合自适应算法参数,以加快收敛速度和通信效率,同时确保稳定性和性能,该算法在计算机视觉(CV)和自然语言处理(NLP)数据集上的广泛实验表明,它在适应性、收敛性、稳定性和整体性能方面优于现有方法。
May, 2024