边缘设备上的大型 CNN 联邦学习：团队知识传输

Jul, 2020

边缘设备上的大型 CNN 联邦学习：团队知识传输

Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge

Chaoyang He, Murali Annavaram, Salman Avestimehr

TL;DR本文提出了一种基于群知识转移算法的联合学习方法 FedGKT，旨在克服边缘设备资源受限问题，实现小型卷积神经网络的训练。该方法可在保证模型准确率的同时，降低对计算资源和通信带宽的需求，提高算法效率。在 ResNet-56 和 ResNet-110 上的实验结果表明，FedGKT 相对于 FedAvg 取得了可比甚至更高的准确率，同时减少了边缘设备的计算功耗和网络参数数量。

Abstract

Scaling up the convolutional neural network (CNN) size (e.g., width, depth, etc.) is known to effectively improve model accuracy. However, the large model size impedes training on resource-constrained

convolutional neural network federated learning edge devices knowledge distillation model accuracy

发现论文，激发创造

面向联合学习中边缘节点的资源高效利用

通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

Sep, 2023

FedGCN: 图卷积网络联邦训练中的收敛与通信权衡

介绍了一种使用联合学习的 FedGCN 算法用于训练分布式的图模型，它可以在大型图上进行半监督节点分类，具有快速收敛和较小的通信成本，相比先前的方法，FedGCN 只需要在一个预训练步骤中将客户端与中央服务器进行通信，显著降低通信成本。

Jan, 2022

KnFu: 有效的知识融合

分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

Mar, 2024

异构集成知识迁移用于联邦学习中的大模型训练

本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

Apr, 2022

FedGKD: 在联邦图神经网络中释放协作的力量

提出了 FedGKD，一种新的联邦图神经网络框架，利用客户端图数据集提取更好描述任务相关性的任务特征，并引入一种对全局协作结构感知的新型服务器端聚合机制，通过在六个不同规模的真实世界数据集上进行广泛实验，证明该框架的优越性。

Sep, 2023

在无线联合边缘学习系统中加速 DNN 训练

研究节约时间、资源、保隐私的联邦边缘学习架构系统，通过 CPU 和 GPU 场景的联合批大小选取和通信资源分配，来缩短训练时间并提高训练准确性。

May, 2019

减轻联邦学习中基于交叉客户端 GAN 的攻击

机器学习在多媒体数据（例如图像）中更具吸引力，然而多媒体数据通常具有分布性和隐私敏感性。在这篇论文中，我们展示了联邦学习（FL）遭受跨客户生成对抗网络（C-GANs）攻击的问题，然后我们提出了 Fed-EDKD 方法来提高当前广泛应用的 FL 方案以抵抗 C-GANs 攻击。通过实验证明，Fed-EDKD 显著减轻 C-GANs 攻击，同时仅带来轻微的 FL 准确性下降。

Jul, 2023

边缘资源受限环境下通过分散数据集精髓进行联邦学习

介绍了一种新的联邦学习框架 FedD3，它通过利用本地数据集蒸馏来代替传统的学习方法显著减少通信量，仅在网络上集成分散的蒸馏数据集一次以形成最终模型，取得了比其他联邦学习框架显著的交流效益和平衡精度和通信成本之间的权衡的额外利益。

Aug, 2022

具有卷积和脉冲神经网络的异构联邦学习

通过比较不同的数据聚合方法，本文对包含传统人工神经网络（ANNs）和脉冲神经网络（SNNs）的联邦学习系统进行了评估，实验结果表明 CNN-SNN 融合框架在 MNIST 数据集上表现最好，并发现了多模型联邦学习收敛过程中的竞争抑制现象。

Jun, 2024

无图知识蒸馏用于图神经网络

本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

May, 2021