FMDA-OT:通过最优传输进行联邦多源域适应
本文提出了一种基于联邦学习的机器学习分布式范例,可以在保护隐私的前提下进行多方联合重新训练共享模型,并通过用户级领域自适应来提高模型精度,实验结果表明在为FL模型强制实施差分隐私界限时,该技术可以更大程度地提升模型的准确性。
Dec, 2019
提出一种新的基于联邦学习的多目标领域自适应算法,通过对模型性能的分析,发现现有领域自适应方法在面对该问题时存在的问题,并提出一种有效的 DualAdapt 方法来解决这些问题。在图像分类和语义分割任务上的大量实验结果表明,我们的方法在客户端设备上实现高准确度,最小通信成本和所需计算资源低。
Aug, 2021
本文介绍了一种去中心化的联邦域自适应方法(ST-LF),旨在通过将机器学习模型从高质量标记数据的设备传输到低质量或未标记的数据设备来最大限度地利用所有数据。该方法考虑到设备间带宽的限制,通过优化设备的分类和源目标之间的链接形成来实现对通信能量效率和精度之间的权衡。通过数值评估,证明了该方法在精度和能量效率方面都优于现有技术基线。
Apr, 2023
从服务角度出发,提出了一个新颖的问题场景,称为 Three-Free Domain Adaptation(TFDA),解决了多源领域适应中训练依赖先前领域信息、同时需要源和目标数据集的问题;通过 FREEDOM 框架,结合生成模型和分类模型,实现了在没有领域信息的情况下,将源类别分布与目标类别匹配,从而取得了与最先进方法相媲美甚至优于其的性能,并降低了目标端的模型大小。
Jul, 2023
该论文提出了一种应对联邦领域自适应的方法,通过字典学习来处理客户端之间存在的分布转移和部分无标签数据的情况。该方法使用经验分布的字典来训练联邦模型,采用协作通信协议和聚合操作来保护客户端数据的隐私,并通过实验证明其在目标领域上成功生成标记数据,并与其集中式对应物和其他基准进行了比较。
Sep, 2023
在现代机器学习模型中,单机上训练这些规模的模型往往变得不现实,因此越来越多的人开始借用联邦学习技术以分布式和协作的方式来训练大规模机器学习模型。然而,当这些模型在新设备上部署时,可能因为领域转移而难以泛化。本文中,我们介绍了RF-TCA,这是对标准的转移组件分析方法的改进,它在不损害理论和实证性能的情况下显著加速了计算过程。利用RF-TCA的计算优势,我们进一步将其扩展到联邦领域适应性设置中的FedRF-TCA。所提出的FedRF-TCA协议在通信复杂度上与样本大小无关,同时保持着与最先进的联邦领域适应性方法相当甚至超过其性能。我们进行了大量实验来展示FedRF-TCA的卓越性能和对网络条件的稳健性。
Nov, 2023
我们提出了一种更实用的方案,名为Hot-Learning with Contrastive Label Disambiguation(HCLD),解决了Universal Federated Domain Adaptation(UFDA)场景中的领域变化和类别差距问题,并通过使用各个源域的黑盒模型的单热输出来区分共享类和未知类。在三个基准测试上的广泛实验表明,与具有许多额外假设的先前方法相比,我们的HCLD在UFDA场景中以更少的假设达到了可比较的性能。
Nov, 2023
我们提出了一种新颖的方法,去实现多源领域适应,采用去中心化的数据集字典学习,在保护数据隐私的同时,通过使用Wasserstein重心模型客户端之间的分布变化,实现有效的适应性。
Jul, 2024
本研究针对联邦域自适应(FDA)中的数据异质性问题,提出了一种新框架——基于多域原型的联邦微调(MPFT)。MPFT通过丰富域特定信息的多域原型优化预训练模型,在单次通信轮次内显著提升了模型的域内和域外精度,并有效降低了计算与通信成本,同时保证了数据隐私。
Oct, 2024