Dec, 2023

FLea: 通过隐私保护的特征增强改进稀缺和标签偏斜数据上的联邦学习

HTML
PDF
TL;DR提出了一个统一的框架FLea，通过鼓励客户端交换隐私保护特征来解决过拟合和局部偏差问题，从而提升本地模型的学习效果，实验证明FLea在共享模型参数方面优于现有领先的联邦学习方法高达17.6％，而在共享数据增强方面优于联邦学习方法高达6.3％，同时降低了与共享数据增强相关的隐私漏洞。
发现论文，激发创造
  • 通过本地适配挽救联合学习

    针对联邦学习中参与者局部利益与数据准确度不匹配的问题，本文提出并比较了三种本地适应技术，并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为：微调、多任务学习和知识蒸馏。我们的实验结果表明，所有参与者都从本地适应中受益，并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。

    Feb, 2020

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。

    Nov, 2021

  • 通过本地自我正则化实现对抗噪声标签的联邦学习

    本文针对联邦学习中标签噪声频繁存在的问题提出一种本地自我正则化的方法，通过模型蒸馏有效地规范本地训练过程，并且可以在各种噪声水平下实现显著的噪声抵抗力，并在Clothing1M真实数据集上取得卓越的表现。

    Aug, 2022

  • 互补稀疏化: 面向联邦学习的低开销模型剪枝

    提出了一种基于Collaborative Pruning机制的Model Pruning方法，名为Complement Sparsification(CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同时实现分布式机器学习，尤其适用于移动端和物联网设备。

    Mar, 2023

  • 一种简单的数据增强方法用于特征分布倾斜联邦学习

    本文提出了一种名为FedRDN的数据增强方法，通过将来自整个联邦系统的数据集统计注入到客户端数据中来有效改善特征分布倾斜FL的泛化，从而缓解了不同本地数据集的基础分布所导致的特征漂移问题。

    Jun, 2023

  • 联邦学习中的共享内容调查：模型效用、隐私泄露和通信效率的观点

    通过从新的角度，即什么在联邦学习中共享，以模型效用、隐私泄露和通信效率为重点，系统调查了联邦学习方法的新分类、隐私攻击的脆弱性以及不同共享方法的性能与隐私保护的效力，并讨论了当前方法存在的潜在缺陷和未来改进的方向。

    Jul, 2023

  • 在联邦学习中利用语言模型的汇聚层输入：超越梯度和先验的隐私攻击

    该研究通过增强攻击方法，在不同批次大小和模型上持续超越之前的最先进结果，提高文本分类任务中的隐私攻击恢复率。

    Dec, 2023

  • 通过本地训练增强联邦学习中的隐私保护

    通过提出联邦私有局部训练算法（Fed-PLT），本文解决了联邦学习中昂贵的通信和隐私保护等挑战，通过局部参与和训练，在中央协调员和计算代理之间显著减少通信轮次，实现了局部训练对准确性的无影响匹配。同时，代理具有从不同局部训练求解器中选择的灵活性，如（随机）梯度下降和加速梯度下降，还探讨了如何利用局部训练来增强隐私，并推导了差分隐私边界及其与局部训练轮次的依赖关系，通过理论分析和分类任务的数值结果与其他技术进行比较，评估了所提算法的有效性。

    Mar, 2024

  • 通过隐私保护特征增强解决联邦学习中的数据稀缺和标签偏斜问题

    使用FLea框架进行联邦学习，通过全局特征缓冲区、特征增强和模糊化方法来解决分布式设备中稀缺和标签倾斜数据引起的局部模型过拟合和漂移问题，并在各种数据模态下进行实验证明其优越性，并降低了共享特征的隐私风险。

    Jun, 2024

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在MNIST、FEMNIST和CRIFAR10数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024