Feb, 2021

联邦评估和调整用于设备化个性化：系统设计和应用

PDF
TL;DR描述我们的联邦任务处理系统的设计，包括评估、调整和联邦学习等任务，特别是在个性化机器学习方面的应用，从设计方面进行比较并展示它在应用中的可行性。
federated task processing systemon-device machine learningfederated learningpersonalizationscalability
发现论文，激发创造
  • 设备上个性化联邦评估

    该研究介绍了扩展联邦学习运算框架以评估全球模型个性化策略的方法，并提出了分析个性化效果以评估个性化是否产生理想模型的工具。作者还报告了在数千万用户的智能手机虚拟键盘中个性化语言模型的实验结果，并展示了相当一部分用户从个性化中受益。

    Oct, 2019

  • 联邦学习中联邦评估调查

    本文首次对现有的联邦评估方法进行了全面的调查，并探讨了如何使用联邦评估来提高联邦学习性能，最终提出一些挑战与未来研究方向。

    May, 2023

  • FedSelect：个性化联邦学习的参数定制选择

    本文提出了一种新的联邦学习框架，名为 FedSelect，可以通过发现最佳参数进行个性化，并同时进行其他参数进行全局聚合，以此同时地个性化客户子网络结构和参数。

    Jun, 2023

  • 大型语言模型的个性化无线联邦学习

    基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

    Apr, 2024

  • 自我感知个性化联邦学习

    本论文提出了一种自我感知的个性化联邦学习方法，通过采用贝叶斯分层模型，利用不确定性量化来平衡本地模型改进和全局模型调整，使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究，该方法显著提高了个性化性能。

    Apr, 2022

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • 混合分布下的联邦多任务学习

    该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

    Aug, 2021

  • FedL2P：个性化联邦学习

    该论文研究了联邦学习（FL）的个性化策略问题，并介绍了一种通过元网络（meta-nets）在 FL 网络中学习个性化策略的框架，该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明，该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。

    Oct, 2023

  • 面向边缘计算的个性化深度神经网络联合学习

    该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

    Jul, 2020

  • 联邦学习中的测试时间鲁棒个性化

    本研究提出了 Federated Test-time Head Ensemble 方法以提高 Federated Learning 模型在部署期间的测试鲁棒性，并在 CIFAR10 和 ImageNet 数据集上展示了其优越性能。同时，也建立了一个评估个性化 FL 方法在部署期间性能和健壮性的基准。

    May, 2022