具有域自适应的私有联邦学习
针对联邦学习中参与者局部利益与数据准确度不匹配的问题,本文提出并比较了三种本地适应技术,并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为:微调、多任务学习和知识蒸馏。我们的实验结果表明,所有参与者都从本地适应中受益,并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。
Feb, 2020
本文介绍了一种名为PFA的新框架,旨在以联邦方式实现更好的个性化结果。PFA利用神经网络的稀疏性生成隐私保护表示,并使用这些表示来高效识别具有相似数据分布的客户端,从而进行分组并在联邦模型上进行群体式联邦学习来完成自适应过程。该框架能够保障客户端隐私,并在多个FL数据集上通过实验证明了其有效性和优越性。
Mar, 2021
通过从新的角度,即什么在联邦学习中共享,以模型效用、隐私泄露和通信效率为重点,系统调查了联邦学习方法的新分类、隐私攻击的脆弱性以及不同共享方法的性能与隐私保护的效力,并讨论了当前方法存在的潜在缺陷和未来改进的方向。
Jul, 2023
该论文提出了一种应对联邦领域自适应的方法,通过字典学习来处理客户端之间存在的分布转移和部分无标签数据的情况。该方法使用经验分布的字典来训练联邦模型,采用协作通信协议和聚合操作来保护客户端数据的隐私,并通过实验证明其在目标领域上成功生成标记数据,并与其集中式对应物和其他基准进行了比较。
Sep, 2023
Upcycled-FL是一种新颖的联邦学习框架,应用在每个偶数迭代中的一阶逼近,以在保持隐私的同时提高隐私-准确性平衡,并通过引入扰动机制来保护隐私。实验表明,Upcycled-FL在异构数据上持续优于现有方法,并且平均减少48%的训练时间。
Oct, 2023
我们展示了在不同类型的数据上,客户端数量和差分隐私机制的增加对模型性能的影响的实证基准,结果显示在分布式和差分隐私设置中,非独立同分布和小数据集的性能降低最为显著。
Feb, 2024
本研究解决了联邦学习中隐私攻击有效性的问题,尽管已有多种攻击算法,但是否能在现实环境中有效提取用户私密数据仍不确定。通过对相关文献的分析和在真实联邦学习环境中的实验,我们发现目前的隐私攻击算法在实际应用中难以突破用户数据隐私,这表明隐私攻击的难度超出预期。
Sep, 2024
本研究针对联邦域自适应(FDA)中的数据异质性问题,提出了一种新框架——基于多域原型的联邦微调(MPFT)。MPFT通过丰富域特定信息的多域原型优化预训练模型,在单次通信轮次内显著提升了模型的域内和域外精度,并有效降低了计算与通信成本,同时保证了数据隐私。
Oct, 2024
本研究解决了联邦学习系统在隐私保障与设备协调方面的关键挑战,这些问题限制了联邦学习的广泛应用。通过提出一个重新定义的联邦学习框架,更加重视隐私原则,结合可信执行环境和开源生态系统,本研究为未来联邦学习的发展指明了方向。其主要发现是,强化隐私保障与多样化设备的协作能力可以显著提升联邦学习的实际应用潜力。
Oct, 2024