- 高效的异构联邦学习与广义重力球动量
以边缘设备为学习对象的联邦学习 (Federated Learning, FL) 是解决隐私限制场景下的分布式数据学习的最先进方法。本论文提出了 FedHBM 算法，通过引入新的动量泛化方法，有效解决 FL 中的统计异质性问题，无需增加通信 - 基于进化策略的高效通信和隐私保护联邦学习
基于进化策略的联邦学习算法（FedES）通过只传输损失值而减少了通信开销，并且保护了数据隐私。实验结果表明 FedES 在保持收敛性能与反向传播方法相同的同时，能够实现上述优势。
- RandCom: 随机通信跳过方法用于分散随机优化
通过引入随机通信跳过的分布式优化方法，本文提出了一种名为 RandCom 的分散优化方法，并分析了其在随机非凸、凸和强凸环境中的性能，证明其能够通过通信概率来渐进地减少通信开销，并在节点数量增加时实现线性加速。此外，通过将 RandCom - FedMFS：选择性模态通信的联邦多模融合学习
本文提出了一种新的多模态融合联邦学习方法 (FedMFS)，通过利用 Shapley 值来量化每个模态的贡献和模态模型的大小来衡量通信开销，从而实现在性能与通信成本之间的灵活平衡，该方法在现实多模态数据集上的实验证明了其有效性，相比基线方法 - 通过 ADMM 基于梯度更新的方法提高联邦自然策略梯度的通信效率
联邦强化学习通过 ADMM 方法有效降低通信复杂性，实现了与标准联邦自然策略梯度相同的收敛速度。
- 在缩减环上近似计算 ReLU 提升基于 MPC 的隐私推断效率
HummingBird 是一个 MPC 框架，通过在较小的环上仅使用部分位数对 ReLU 进行评估，显著减少通信开销，而且没有引入任何错误，平均加速比为 2.03-2.67 倍，某些情况下，可以容忍一定的准确度下降，平均加速比可达 8.64 - FAM：快速自适应元学习
我们提出了一种快速自适应联邦元学习（FAM）框架，用于协同学习单个全局模型，并可以在各个客户端上进行个性化定制。实验结果表明，在有限的迭代次数内，每个客户端的个性化客户端模型优于本地训练模型，从而显示出 FAM 机制的有效性。此外，通信开销 - 一种高效的虚拟数据生成方法，用于减少联邦学习中的通信
本文提出了一种数据驱动的通信高效联邦学习框架，重点在于设计了一个高效的提取模块 (EM)，确保虚拟数据集对于精调聚合全局模型产生正面效果，并在实验证明了 FedINIBoost 在初始阶段对聚合全局模型的性能精调起到重要作用。
- 深度均衡模型遇见联邦学习
本研究探讨了利用 Deep Equilibrium（DEQ）模型而不是传统的深度学习网络来解决联邦学习（FL）问题的新视角。我们声称将 DEQ 模型纳入联邦学习框架中，自然解决了 FL 中的若干开放问题，例如由于共享大型模型而产生的通信开销 - LLMs 能理解加密提示：迈向隐私计算友好型变压器
本文展示了将 transformer 模型中的运算和通信重负荷的操作替换成隐私计算友好的近似可以大大降低私有推理成本，并比先前最先进的 Iron（NeurIPS 2022）获得了 5 倍计算加速和 80% 的通信负担减少，同时保持几乎相同的 - 互补稀疏化：面向联邦学习的低开销模型剪枝
提出了一种基于 Collaborative Pruning 机制的 Model Pruning 方法，名为 Complement Sparsification (CS)。该方法能够减少通信开销，降低客户端的计算复杂度，并在保持模型准确性的同 - 利用 NSGA-II 优化联邦学习中的通信开销
本研究旨在将联邦学习中的通信开销作为一个多目标问题建模，并应用多目标优化算法来解决此问题，通过模拟服务器 / 客户端架构进行实验，我们的实验结果表明，该方案能够将通信开销减少 99％，并保持与使用 100％通信的 FedAvg 算法获得的精 - 神经机器翻译的通信高效联合学习
本文提出了一种基于控制器层的新颖解决方案，可以在减少通信开销的同时，实现在联邦学习设置下训练神经机器翻译模型的高效构建，并在五个不同领域的数据集翻译德语至英语的实验中得到了与中心和非联邦学习设置下训练的模型相当的表现，同时顺利降低了联邦学习 - PPSGCN：基于隐私保护子图采样的分布式 GCN 训练方法
本文提出了一种基于隐私保护子图采样的分布式图卷积网络训练方法（PPSGCN），它避免了现有方法中直接交换不同客户端之间节点特征导致的数据隐私泄露问题，并且通过采样局部节点子集形成全局子图方式大大降低了通信和内存成本，在保护数据隐私的前提下具 - MM使用二进制神经网络的通信高效联邦学习
该研究提出了一种使用二进制神经网络在联邦学习框架下进行训练的新方法，通过最大似然估计参数更新方案和理论推导，实现在无需聚合实值辅助参数的情况下，维持性能同时显著降低通信开销。
- IJCAIH-FL：面向联邦学习的分层通信高效和隐私保护体系结构
本文提出了一种名为分层联邦学习（H-FL）的新框架，通过运行时分布重构策略，利用中介将客户端重新分配并重新安排客户端的本地训练，设计了一种压缩校正机制，同时不牺牲模型性能，降低通信开销，引入局部训练的差分隐私，注入适量的噪声到完整模型的一部 - MM联邦与集中式学习的混合架构
本文提出了一种更高效的混合联邦与集中学习（HFCL）方法来解决客户端计算资源不足的情况，该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器，从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。
- MM基于量化的分层联邦学习：收敛分析与系统设计
本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。
- FedRec: 在衰落信道上进行通用接收机联邦学习
本研究提出一种使用神经网络进行符号检测的技术，名为 FedRec，其采用联邦学习的训练方案，可以在不需要了解衰落信道统计信息的情况下，在多样化的信道条件下接近 MAP 检测器的性能，并显著降低了其训练过程中的通信开销。
- Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降
本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。