May, 2024

通过扩散模型在一次性联邦学习中解决异质性和隐私问题

PDF
TL;DR本研究探讨了扩散模型在一次性联邦学习中的有效性，证明其在应对数据异构性和提高联邦学习性能方面的适用性，并与其他一次性联邦学习方法在差分隐私下的效用进行了比较。此外，为了在差分隐私设置下提高生成样本的质量，我们提出了一种实用的傅里叶幅度过滤（FMF）方法，增强了全局模型训练的生成数据的有效性。
发现论文，激发创造
  • 隐私敏感视觉任务的扩散模型联邦学习

    通过实验和研究，我们发现联邦扩散模型在隐私敏感领域提供视觉服务方面具有巨大潜力。

    Nov, 2023

  • 一次性联邦学习与分类器引导的扩散模型

    使用扩散模型，在一次联邦学习中引入了指导性生成数据，避免了现实场景中常见的辅助数据集或训练生成器的障碍。该方法针对异构客户模型和非独立同分布的特征或标签问题，有效处理隐私保护并在一些情况下超越集中式训练的性能上限，从而形成性能更高的聚合模型。

    Nov, 2023

  • HeteroFL：用于异构客户端的计算与通信高效联邦学习

    本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

    Oct, 2020

  • 在 MIMO 衰落通道上实现差分隐私的无线联合学习

    本文提出在多重输入多重输出信道上运用差分隐私保护机制的联邦学习方法，以优化隐私与学习的平衡。

    Jun, 2023

  • 针对统计异质性的个性化联邦学习

    联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习，同时确保了数据保密性。然而，由于不同客户数据分布导致的统计异质性问题，会带来一些挑战，例如不足的个性化和收敛速度慢。为了解决上述问题，本文简要总结了个性化联邦学习领域的当前研究进展，概述了个性化联邦学习的概念，审视了相关技术，并强调了当前的努力。此外，本文还讨论了个性化联邦学习的潜在进一步研究和障碍。

    Feb, 2024

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • 通过健壮聚类减轻联邦学习中差异隐私的不平等影响

    提出了一种新颖的聚类差分私有化联邦学习算法，通过基于模型更新和训练损失值对客户进行聚类，以应对联邦学习中的不平等性和隐私保护问题。

    May, 2024

  • 具差分隐私的联邦学习

    我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。

    Feb, 2024

  • 精简一次性联合学习

    提出了 Distilled One-Shot Federated Learning (DOSFL) 算法，通过数据集精炼和一次迭代来减少模型权重的通信量和传播轮数，达到与传统方法相当的性能和高达三个数量级的通信效率。

    Sep, 2020

  • 在医学图像分析中提高私有联邦模型的性能

    本研究探讨联邦学习在医疗应用中的优势，分析其如何能够解决医疗数据隐私、安全及所有权等挑战，讨论如何通过本地步骤和沟通轮数的调整来进一步提高模型的性能，并提供了理论证明和实验评估的支持。

    Apr, 2023