ECCVOct, 2022

通过分布变换解决联邦学习中的异质性

PDF
TL;DR本文提出了一种新的框架 DisTrans，通过训练和测试时间的分布变换以及双输入通道模型结构来优化每个客户端的分布式偏移和模型，从而在面对不同程度的数据异质性时，提高联邦学习（FL）性能，评估结果表明，DisTrans 在多个基准数据集上的表现超越了其他现有方法。
federated learningdata heterogeneitydistransdeep learningmodel accuracy
发现论文，激发创造
  • FedTrans: 异质客户端之间的高效联合学习通过模型转换

    FedTrans 是一个多模型联邦学习训练框架，可以自动为大规模异构客户端生成和训练高准确性、硬件兼容的模型，显著提高了个体客户端模型的准确性并降低了训练成本。

    Apr, 2024

  • 本地学习很重要：重新思考联邦学习中的数据异构性

    本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

    Nov, 2021

  • 信息论分布多元化实现联邦泛化

    我们的论文提出了一种信息论的泛化框架来解决联邦学习中的分布不一致问题，并通过引入加权聚合方法和客户端选择策略来增强泛化能力。

    Oct, 2023

  • 个性化生成网络的异构联邦学习

    通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

    Aug, 2023

  • FedShift: 通过权重偏移聚合解决联邦学习的双重异质问题

    FedShift 是一种新颖的算法，旨在在双重异质性情况下提高训练速度和模型的准确性，通过量化和移位技术改善客户参与度，并提升在异质性环境中的准确性 3.9%。

    Feb, 2024

  • 异构环境中加速联邦学习：一种动态分层方法

    动态分层联邦学习系统可以通过利用分层学习的概念，将全局模型的不同部分分配给不同层次的客户端，并通过基于本地损失的训练使每个客户端可以并行更新模型，从而减少资源受限设备上计算和通信的需求，缓解迟到问题，从而显著减少训练时间并保持模型准确性。

    Dec, 2023

  • HeteroFL：用于异构客户端的计算与通信高效联邦学习

    本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

    Oct, 2020

  • 面向异构客户的个性化联邦学习与聚类知识迁移

    本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

    Sep, 2021

  • 面向医学图像分类的不均衡和聚合数据分布联邦学习

    采用新的真实数据分布，提出一种名为 FedIIC 的隐私保护框架，该框架通过类内对比学习和共享全局样本的类间对比学习进行特征提取器的校准来缓解训练造成的偏差，并使用考虑难度的逻辑调整构造 softmax 交叉熵损失以确保所有类别的平衡决策边界。在公共可用数据集上的实验表明，FedIIC 在处理两种耦合问题的同时，具有更优越的性能。

    Jun, 2022

  • 异构集成知识迁移用于联邦学习中的大模型训练

    本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

    Apr, 2022