Mar, 2024

自适应编码联邦学习：隐私保护与降低掉队者影响

PDF
TL;DR本文介绍了自适应编码联邦学习（ACFL）的方法，其中在训练之前，每个设备上传一个带有加性噪声的编码本地数据集到中央服务器，以满足隐私保护要求产生全局编码数据集，通过设计聚合权重的自适应策略，聚合来自非滞后者的梯度和来自全局编码数据集的梯度，在隐私和学习性能优化方面进行性能分析，并进行模拟实验证明 ACFL 的优越性。
federated learningstragglerscoded federated learningadaptive coded federated learningprivacy preservation
发现论文，激发创造
  • 联邦学习中减轻落后者影响的编码

    本文提出了一种新的编码联合学习方案，利用一次性填充保护隐私和梯度编码以增强对抗滞后设备的鲁棒性，通过共享一次性填充局部数据集并使用梯度编码的方式，实现联合迭代训练全局线性模型。相比传统联合学习，该方案在 MNIST 和 Fashion-MNIST 数据集上将训练速度提高了 6.6 和 9.2 倍，在准确率达到 95% 和 85% 时，保持了传统联合学习的隐私保护水平。

    Sep, 2021

  • 编码填充式 FL 和编码保密聚合：联合学习中的异构节点缓解和安全聚合

    提出两种新颖的联邦学习方案，通过在网络上引入设备数据的冗余来减轻迟滞设备的影响。其中，CodedPaddedFL 通过采用一次性填充与梯度编码相结合的方式实现了迟滞器的韧性，同时保持了常规 FL 的隐私级别；CodedSecAgg 则改进了 Shamir 的秘密共享，以实现模型翻转攻击防范，并提高了性能表现。实验结果表明，以上两种方案对于 MNIST 数据集均可实现 95% 的准确度，其中，CodedPaddedFL 仅需 120 台设备即可实现 18 倍的加速，而 CodedSecAgg 则表现出比 LightSecAgg 更出色的性能表现。

    Dec, 2021

  • 编码联邦学习

    本研究提出了一种编码联邦学习方法，解决了异构计算平台上 (如无线边缘) 的迟滞计算和通信以及时模型更新的问题，并通过预计算冗余渐变来加速全局模型收敛达四倍以上。

    Feb, 2020

  • 非独立同分布数据隐私灵活联合学习的近似梯度编码

    该研究针对非独立同分布数据和联邦学习中的慢节点 / 失联节点的挑战进行了探讨，提出了一种灵活的隐私范式，将部分客户端的本地数据建模为非私有数据，从而在隐私方面提供了更多样化且以企业为导向的视角。同时，该研究通过结合离线数据共享和近似梯度编码技术，提出了一种基于数据驱动的策略，用于减轻标签异质性和客户端慢速运行对联邦学习的影响。通过使用 MNIST 数据集进行数值模拟，我们证明了我们的方法能够实现隐私和效用之间的有意义的权衡，从而改善模型的收敛性和准确性，并且可以利用一部分非私有数据。

    Apr, 2024

  • 延迟梯度的混合联邦学习算法：迟到的梯度不是灾难

    该研究提出了一种混合联邦学习算法（HFL），通过引入异步更新器和自适应延迟 SGD（AD-SGD）等方法，有效解决了异构优化问题中慢设备所带来的训练效率和学习效果不平衡的问题，且算法收敛速度为 $O (1/t+τ)$。

    Feb, 2021

  • 边缘联邦学习的编码计算

    CodedFedL extends CFL to distributed non-linear regression and classification problems with multioutput labels by exploiting distributed kernel embedding using random Fourier features that transforms the training task into distributed linear regression, providing an analytical solution for load allocation and significant performance gains over benchmark datasets using practical network parameters.

    Jul, 2020

  • FedADC: 带漂移控制的加速联邦学习

    本文提出了一种新的联邦学习算法 FedADC，可以在分布式环境下加速核心算法 SGD 并控制数据漂移问题，同时不会增加计算和通信负载，并通过实验验证了其优越性。

    Dec, 2020

  • 抗拖延分布式学习：利用统计准确性和系统异构性相互作用

    本文提出了用于 Federated Learning 的一种新型抗 Straggler 算法，该算法结合客户端数据的统计特征，通过适应性选择客户端来加速学习过程并提高可伸缩性。我们的理论结果表明，相比于标准联邦基准，我们的方法对强凸目标能够获得速度提升，而我们的数值实验也证明了与联邦学习基准相比的显著加速。

    Dec, 2020

  • FedAC：一种适应性聚类的异构数据联邦学习框架

    在本文中，我们提出了一种自适应的聚类联邦学习框架，名为 FedAC，它通过解耦神经网络并为每个子模块使用不同的聚合方法，有效地将全局知识融合到簇内学习中，同时采用一种经济高效的在线模型相似度度量基于降维技术，以及一个用于改进复杂异构环境中自适应性和可扩展性的簇数微调模块。广泛的实验结果表明，相较于现有方法，FedAC 在不同的非独立同分布设置下，CIFAR-10 和 CIFAR-100 数据集的测试准确率分别提高了约 1.82% 和 12.67%。

    Mar, 2024

  • 局部差分隐私下联邦学习中的实用聚合

    本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

    Jul, 2020