去中心化联邦蒸馏的收敛可视化器与降低通信成本
该研究提出了一种新的联邦学习框架，利用无标签的开放数据集和基于蒸馏的半监督学习算法，实现了模型的交流和性能的提高，并通过熵的减少平均值来减少模型之间的异质性。实验结果表明，相对于FL基准，DS-FL能降低高达99%的通信成本，同时达到相似甚至更高的分类准确性。
Aug, 2020
介绍了分布式学习中一种名为Federated Distillation的解决方案，实现了模型参数的共享，通过知识蒸馏、共同蒸馏等算法，交换神经网络模型的输出，提高了通信效率，并展示了其在不同任务和环境下的适用性。
Nov, 2020
提出一种采用分布式训练（DFL）的通用分散式最随机梯度下降（SGD）框架，它可以解决在多个节点中进行通信和本地更新的平衡，具有压缩通信和强收敛保证的特点。
Jul, 2021
本研究提出了一种基于知识蒸馏的通信高效的联邦学习方法，通过在客户端上互相学习一个学生模型和一个教师模型，只共享学生模型以降低通信成本，并提出了一种基于奇异值分解的动态梯度逼近方法来进一步降低通信成本。实验表明，该方法能够有效减少通信成本并取得竞争性的结果。
Aug, 2021
在神经网络中，联邦学习的性能通常受到数据分布的异构性的影响。本研究提出了一种新的联邦学习框架，配备了去中心化知识蒸馏（FedDKD）的过程，通过分布在本地的局部模型来训练全球模型，可以更有效地拟合神经网络映射平均值，来克服权重计算问题。实验证明，FedDKD在一些极度异构的数据集上表现出更高的效率和更好的训练结果，优于现有的联邦学习算法。
May, 2022
介绍了一种新的联邦学习框架FedD3，它通过利用本地数据集蒸馏来代替传统的学习方法显著减少通信量，仅在网络上集成分散的蒸馏数据集一次以形成最终模型，取得了比其他联邦学习框架显著的交流效益和平衡精度和通信成本之间的权衡的额外利益。
Aug, 2022
本文提出一种名为FedND的新型联邦学习算法，采用知识蒸馏优化模型训练过程，并在客户端使用自我蒸馏方法进行本地模型训练，在服务器端生成噪声样本用于蒸馏其他客户端，最终通过聚合本地模型获得全局模型，实验结果表明该算法不仅达到最佳性能，而且比现有的算法更具通信效率。
Jun, 2023
基于不对称拓扑结构和Push-Sum协议，DFedSGPSM算法以解决共识优化问题为目标，结合Sharpness Aware Minimization（SAM）优化器和本地动量，提高算法性能并减轻联邦学习中的本地异质过拟合问题。理论分析证明在非凸平滑环境下，DFedSGPSM算法以O(1/√T)的收敛速率收敛于全局最优解，而更好的拓扑连接性能会得到更严格的上界。在MNIST、CIFAR10和CIFAR100数据集上进行的大量实验表明，与最先进的优化器相比，我们的算法具有更优越的性能。
Oct, 2023