提出了一种名为 FedD2S 的创新方法，利用知识蒸馏，通过在无数据知识蒸馏过程中引入深层到浅层的层丢弃机制来加强本地模型个性化，以解决联邦学习框架中客户端数据异质性的挑战。通过在多样的图像数据集上进行广泛的模拟实验，并与现有的联邦学习基准进行比较，该方法表现出卓越的性能，具有加速收敛和改善客户公平性的特征。引入的层丢弃技术有效地捕获个性化知识，从而达到比替代联邦学习模型更好的性能。此外，研究了关键超参数（如参与比例和层丢弃率）的影响，并提供了对 FedD2S 的最佳配置的有价值的见解。研究结果表明，自适应层丢弃在知识蒸馏过程中能够实现在不同数据集和任务中的增强个性化和性能。

Feb, 2024

通过将人工智能（AI）与边缘计算相结合，边缘智能利用终端设备和边缘服务器的计算和通信能力，在数据产生的地方进行处理，从而实现人工智能的大规模和高效部署。其中一项关键技术是隐私保护的机器学习范式 Federated Learning（FL），该范式使数据所有者能够在无需将原始数据传输到第三方服务器的情况下训练模型。然而，FL 网络预计涉及成千上万个异构分布式设备，因此通信效率仍然是一个关键瓶颈。为了减少节点故障和设备退出，提出了一种分层联邦学习（HFL）框架，其中指定的集群领导者通过中间模型聚合支持数据所有者。因此，基于改进的边缘服务器资源利用，本文可以有效弥补缓存容量的限制。为了减轻软点击对用户体验质量（QoE）的影响，作者将用户 QoE 建模为综合系统成本。为解决这个公式化问题，作者提出了一种具有联邦深度强化学习（DRL）和联邦学习（FL）的分散式缓存算法，其中多个代理独立学习并做出决策。

Mar, 2024

研究围绕联邦学习，提出使用强大的服务器模型帮助边缘设备解决模型容量问题，通过选择性地从多个客户端和自己进行学习，开发了深度知识并返回给客户端，取得了在图像分类任务中的优秀性能。

Oct, 2021

本文研究了在边缘网络上进行 FEEL 的挑战和权衡，提出了一种数据感知调度的通用框架作为未来研究方向的指南，并讨论了数据评估的主要轴和要求以及一些可利用的技术和指标。

Aug, 2020

通过智能设备采样和设备之间的数据卸载，优化联邦学习的训练准确性以及数据处理和设备通信资源的消耗。通过图卷积网络学习网络属性、采样节点和设备之间的数据卸载之间的关系，该方法优于现有的文献中的设备采样方法。

Nov, 2023

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

研究节约时间、资源、保隐私的联邦边缘学习架构系统，通过 CPU 和 GPU 场景的联合批大小选取和通信资源分配，来缩短训练时间并提高训练准确性。

May, 2019

本文提出了一种基于蒸馏的联邦继续学习方法，通过使用定期收集的客户端数据逐步适应接收到的模型，以减少存储数据的量，避免灾难性遗忘问题，并在人类活动识别领域进行了评估。

Jul, 2022

提出了一种名为 FedICT 的方法，使用知识蒸馏来实现在不同设备中同时训练相关但个性化的机器学习模型的目标。FedICT 在三个不同的数据集上的实验结果显示，相比于 FedAvg 和 FedGKT，其可在更少的通信开销和通信轮次内取得更好的精度表现，且可适应不同的数据异构性和模型结构设置。

Jan, 2023

介绍了一种新的联邦学习框架 FedD3，它通过利用本地数据集蒸馏来代替传统的学习方法显著减少通信量，仅在网络上集成分散的蒸馏数据集一次以形成最终模型，取得了比其他联邦学习框架显著的交流效益和平衡精度和通信成本之间的权衡的额外利益。

Aug, 2022