- 高效通信与隐私保护的分散化元学习
在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但 - 基于贝叶斯伪核心集的一次性联邦学习
基于优化的技术在联邦学习中通常具有高昂的通信成本，本文提出了一种基于贝叶斯方法的联邦学习算法，通过分布函数空间推断实现了仅需一次通信，并且在多模态条件下能够更好地进行近似推断，从而大大降低了通信成本。此算法在预测性能方面与最新技术水平相当， - Comet：一种用于私有 Transformer 推断的通信高效和性能高的近似方法
本文介绍了一种名为 Comet 的新型插件方法，可有效降低通信成本并保持竞争性模型性能，通过 GLUE 基准数据集的 Bert 和 RoBERTa 模型评估表明，通信成本降低了最多 3.9 倍，速度提高了 3.5 倍。
- SADDLe: 具有异构数据的尖锐感知去中心化深度学习
本文提出 SADDLe，一种利用 Sharpness-Aware Minimization (SAM) 的锐度感知的分布式深度学习算法，以解决分布式训练中的局部过拟合、全局模型泛化不佳和高通信成本等实际挑战。实验结果表明，与现有技术相比，S - 通信高效联邦学习的改进推广界限
本文通过探索泛化界限和表示学习来减少联邦学习的通信成本，首次展示了在非独立同分布的情况下，更少的聚合次数，更多的本地更新可产生更具一般化能力的模型，设计了基于泛化界限和表示学习分析的自适应本地步骤联邦学习算法 FedALS，通过对模型不同部 - 具有分布式 Lion 的通信高效分布式训练
本文介绍了一种新颖的 Lion 优化器适用于分布式训练环境，通过使用 Lion 中的符号操作符，仅需要在工人和中心服务器之间传送二进制或低精度向量，可显著降低通信成本，并具有良好的性能和带宽平衡。
- FedComLoc: 通信高效的稀疏与量化模型的分布式训练
我们引入 FedComLoc 算法，集成了实用和有效的压缩技术到 Scaffnew 算法中，以进一步提高通信效率。通过使用流行的 TopK 压缩器和量化技术进行广泛实验，证明了在异构环境中大幅减少通信开销的能力。
- 分布式内核赌博机中使用共享随机采样的最佳订单遗憾
我们提出了第一个算法，它以次线性的通信成本实现了最佳的（以集中式学习定义的）遗憾顺序，通过局部智能的均匀探索和与中央服务器共享随机性这两个关键组成部分与 GP 模型的稀疏近似共同作用，能够以递减的通信速率保持集中设置的学习速率。
- MLPerf 训练突破：BERT 优化案例研究
提出了新的方法，包括负载均衡、通信成本隐藏、优化器重新评估，并结合超参数优化和更大的批次使用 ADAM 等技术，实现了最快的 MLPerf BERT 训练，比其他两个（一个）MLPerf v1.1（v2.0）提交的结果更快。
- 联邦 Q-Learning：线性遗憾加速与低通信成本
在这篇论文中，我们考虑了联合强化学习用于表格式情节马尔可夫决策过程（MDP），在这种过程中，通过一个中央服务器的协调，多个代理协同探索环境并在不共享原始数据的情况下学习最优策略。我们提出了两种联合 Q 学习算法，分别称为 FedQ-Hoef - 灵活通信实现不确定网络下的最优分布式学习
梯度压缩通过发送更少的值和对应的索引（通常通过 Allgather）来减轻分布式深度学习中昂贵的通信成本。本文提出了一种与 Allreduce 兼容的 Topk 压缩器，在某些网络配置中比 Allgather 表现更好。我们开发了一种灵活的 - 具有有限对抗动作的联邦线性赌臂机
研究联邦线性赌臂模型，其中 M 个客户端与中央服务器通信，解决具有有限对抗行动集的线性上下文赌臂问题。提出了 FedSupLinUCB 算法，并证明其实现了总遗憾 O (dT) 的性能边界，并分析了其通信成本。将 FedSupLinUCB - 通过偏微分隐私实现敌对抗性强鲁棒的分布式计数跟踪
研究了分布式跟踪模型，包括功能性监控、通信成本、适应性对手和鲁棒计数跟踪，提出了一种具有最佳通信的鲁棒算法，并通过引入 “部分差分隐私” 和证明一个新的推广定理来解决分布式问题的挑战。
- 面向轻量通信设计的联邦学习压缩
本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。
- 面向实例自适应的联邦学习推理
该论文提出了一种新颖的 FL 算法（FedIns）来处理 FL 框架中的内部客户数据异质性，并通过在 FL 框架中实现实例自适应推理来减少内部客户和跨客户之间的异质性，实验证明 FedIns 在 Tiny-ImageNet 上比现有 FL - ICML具双向量化通信与缓存聚合的异步联邦学习
QAFeL 是一种新的算法，提出了一种量化方案，通过建立服务器和客户端之间的共享 “隐藏” 状态，避免直接量化导致的误差传播，从而高精度地减少客户端和服务器之间传输的数据量。该算法在理论上具有收敛保证，并通过标准基准上的实验证明了我们的分析 - IJCAIFedET：一个基于增强 Transformer 的通信有效联邦类增量学习框架
本文提出了一种名为 FedET 的框架，它使用预训练 Transformers 并结合 Enhancer，通过增强新知识来实现低通信成本和高精度，同时引入 Enhancer 蒸馏方法解决新任务新类别和不同本地客户端之间的非 i.i.d 类别 - 无线联邦学习中异构集群的隐私聚合
本文介绍了一种私有集成学习方案，以处理联合学习中的隐私问题，并推导出信息论隐私所需的通信成本的基本限制。
- 通过重要性采样实现通信高效的联邦学习
在可扩展联邦学习中，我们利用客户端和服务器之间的密切联系，提出一种框架，将客户端的分布与服务器的先数据分布进行了比较，大大减少了通信开销，同时保证了测试精度。
- 分层无线网络中的自适应联邦剪枝
本文在无线网络中为分层式联邦学习引入了模型剪枝技术，通过联合优化剪枝比例和无线资源分配，旨在最大化模型收敛速度以达到给定延迟阈值，并通过解耦优化问题和使用 KKT 条件得出了剪枝比例和无线资源分配的闭式解，并通过模拟结果展示了模型剪枝在 H