May, 2024

利用流形重塑实现部分类不相交数据下的联邦学习

PDF
TL;DR我们提出了一种称为 FedMR 的流形重塑方法，通过引入内部类损失和跨类损失来校准本地训练的特征空间，从而解决部分类不相交数据在联邦学习中引发的优化方向偏倚问题，实现更高的准确性和更好的通信效率。
federated learningstatistical heterogeneitypartially class-disjoint datamanifold reshapingcommunication efficiency
发现论文，激发创造
  • 非凸紧凑平滑次流形上的异构数据联邦学习

    本文提出了一种基于随机黎曼梯度和流形投影算子的非凸联邦学习算法，用于在异构客户端数据的紧致平滑子流形上提高计算效率，并通过同时利用流形结构和损失函数特性的新型分析，理论上证明了该算法亚线性收敛到一阶最优解附近，数值实验表明我们的算法具有比现有方法更小的计算和通信开销。

    Jun, 2024

  • 基于双向筛选的联邦学习在部分类别不相交数据上的应用

    FedGELA 是一种新方法，通过将分类器全局固定为一种 Simplex ETF，并针对个人分布进行本地适应，从而在联合学习的整体视图和局部视图中实现公平而平等的鉴别，解决了部分类不相交数据 (PCDD) 带来的挑战

    May, 2024

  • 具有流形正则化和归一化更新聚合的联邦学习

    我们提出了 FedMRUR 方法，采用流形模型融合方案和一种新的全局优化器来减轻模型不一致性的负面影响，并通过在低维子空间中使本地和全局模型的数据表示相互接近的双曲图流形正则化器，从而显著减少模型不一致性，实现了局部客户更新的正交性引入的规范缩减。我们还证明了该算法在非凸设置下可以实现线性加速性能，并通过实验证明 FedMRUR 在通信量较少的情况下可以实现新的最先进准确性。

    Nov, 2023

  • 基于特征融合的个性化联邦学习

    本研究讨论了联邦学习中的数据异质性问题，并提出了一种个性化的联邦学习方法，名为 pFedPM，通过特征上传来减少通信成本和允许异构客户端模型，实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。

    Jun, 2024

  • 具有差分隐私的黎曼流形上的联邦学习

    提出了一个基于 Riemannian 流形的差分隐私技术的私有联邦学习框架 (PriRFed)，分析了隐私保证的同时确立了收敛性属性，是第一个具有隐私保证和收敛结果的基于 Riemannian 流形的联邦学习框架

    Apr, 2024

  • 驯服异构数据领域中联邦原型学习中的跨领域表示变异

    FedPLVM 通过引入方差感知的双层原型聚类和一种新颖的 α- 稀疏原型损失，解决交叉域特征表示的差异性，从而提高模型的泛化能力。在 Digit-5、Office-10 和 DomainNet 数据集上的评估显示了我们方法的优势。

    Mar, 2024

  • 混合分布下的个性化联邦学习

    该研究针对现有的 PFL 方法存在的局限性，提出了一种名为 FedGMM 的新方法，该方法利用高斯混合模型在多个客户端之间适应输入数据分布，实现更好的性能，并且可以适应新的客户端且具有不确定性量化的能力。

    May, 2023

  • 针对连接到无人机编排器的自主车辆联邦学习中的异构性问题

    本文提出了一种基于飞行器交通监控系统的反应性方法，通过合理分配无线资源，提高联邦学习中针对特定关键对象类的学习，应用于计算机视觉任务，并且证明了该方法通过针对不同学习器的贡献可以提高系统的准确性，尤其是当联邦学习的对象类在网络中缺乏代表性时。

    Aug, 2021

  • 探索和缓解异构联邦学习中的维度崩溃

    提出了一种名为 FedDecorr 的新方法，可以在联邦学习中有效缓解数据异构性造成的维度崩溃问题。该方法鼓励表示的不同维度不相关，并且在标准基准数据集上比基线方法表现更好。

    Oct, 2022

  • 改进的联邦数据集建模：使用狄利克雷 - 多项式混合模型

    本文研究如何将中心化数据进行划分以反映真实联邦客户端的统计异质性，并提出了一种完全联邦且有理论依据的算法，通过使用推断的分布从中心化数据创建模拟客户端，实现了改进的服务器端模拟。

    Jun, 2024