Feb, 2024

非独立同分布数据孤岛上的联邦多任务学习：实证研究

PDF
TL;DR通过引入 FMTL-Bench 框架，本论文填补了领域中对集成 FL 和 MTL 两者特点的综合评估方法的空缺，并通过七组对比实验系统评估了 FMTL 范式，旨在为现有基线方法的优势和局限性提供有价值的见解，为实际场景中的最佳 FMTL 应用作贡献。
发现论文，激发创造
  • 使用拉普拉斯正则化的联邦多任务学习的新视角和收敛速率

    本论文提出了两种算法 FedU 和 dFedU，解决了非独立同分布数据分布导致联邦学习性能下降的问题，并在实验中表现出比现有算法更好的收敛速度和性能，同时指出所提出的联邦多任务学习问题可以用于常规 FL 和个性化 FL 任务。

    Feb, 2021

  • 混合分布下的联邦多任务学习

    该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

    Aug, 2021

  • 关于联邦学习和多任务学习中的能源和通信效率权衡

    本文研究了在分布式无线网络中使用 Model-Agnostic Meta-Learning（MAML）范式驱动的多任务学习（MTL）过程的能量成本，发现该方法可以通过联邦学习减少能量开支至少两倍，并且无线网络的最佳能量平衡取决于上行 / 下行和侧向链接通信效率。

    Dec, 2022

  • 异构客户端联邦多任务学习

    借助 FedHCA$^2$ 框架，该研究解决了异构客户机联邦多任务学习中的模型不一致性问题，并通过建模异构客户机之间的关系来允许个性化模型的联邦训练。实验证明 FedHCA$^2$ 在各种异构客户机联邦多任务学习场景中相比其他方法具有更优越的性能。

    Nov, 2023

  • 聚类联邦学习：在隐私约束下的模型无关分布式多任务优化

    本研究提出了一种基于聚类的联邦多任务学习框架（Clustered Federated Learning），可在保持数据隐私性的同时，更好地解决联邦学习中本地数据分布不同的问题，并在深度卷积和循环神经网络上进行实验证明了其有效性。

    Oct, 2019

  • 面向边缘计算的个性化深度神经网络联合学习

    该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

    Jul, 2020

  • 非联邦多任务分割学习的异构源

    边缘网络和移动计算的发展需要设计新的分布式机器学习机制来服务于异构数据源。本文提出了一种多任务分割学习（MTSL）框架，结合了分割学习（SL）的优点和分布式网络架构的灵活性，以实现高效处理异构数据源的多任务学习，具有快速收敛、低通信成本和对异质数据的鲁棒性等优势。

    May, 2024

  • 非独立同分布数据孤岛上的联邦学习：一个实验研究

    本文介绍了分布式数据库中的非独立同分布数据的系统性了解和研究的必要性，并通过全面的数据分区策略和广泛的实验来评估现有的联邦学习算法，提供了未来解决 ' 数据孤岛 ' 挑战的启示。

    Feb, 2021

  • 私有多任务学习：阐述和应用于联邦学习

    本研究中，我们通过联合差分隐私 (JDP) 对客户级隐私概念进行了形式化，提出了一种算法用于在联邦学习应用中常用的均值正则化多任务学习 (MTL)，并对其进行了分析，得到了隐私和效用方面的可证明保证。实证研究表明，相对于全局基线，我们的方法在常见的联邦学习基准测试中提供了更好的隐私 / 效用权衡。

    Aug, 2021

  • 3FM: 多模式元学习用于联邦任务

    我们提出了一种面向联邦学习领域的新方法，特别关注应对模态异质性、客户端间模态可用性的差异和缺失数据的问题。我们介绍了一个专为多模态联邦任务设计的元学习框架，并通过对增强的 MNIST 数据集进行广泛的实验验证了我们提出的框架的有效性。我们的算法在一些缺失模态场景中通过元学习率的精细调整，实现了比基线更好的性能。

    Dec, 2023