- 非同步拜占庭联邦学习
通过无需辅助服务器数据集并且不受落后节点限制的拜占庭容错和异步联邦学习算法，我们的解决方案可以更快地训练模型，在梯度反转攻击下最多能保持 1.54 倍准确率，而在扰动攻击下最多能保持 1.75 倍准确率。
- Apodotiko: 在异构环境中实现高效的无服务器联邦学习
Apodotiko 是一种为无服务器联邦学习设计的新型异步训练策略，通过评估每个客户端的硬件能力和数据集大小，智能地优先选择客户端，并最小化系统性能受到策略影响的慢速客户端，实验结果表明，Apodotiko 优于其他 FL 训练策略，平均加 - CaBaFL：异步分层缓存和特征平衡的联合异步学习
CaBaFL 是一种新颖的异步联邦学习方法，通过采用层次化基于缓存的聚合机制和基于特征平衡的设备选择策略，实现了对分布式人工智能物联网设备中存在的混乱与数据不平衡问题的有效解决，实验结果显示相比于现有的联邦学习方法，CaBaFL 实现了高达 - AntDT: 一种自适应的分布式培训框架用于领导者和延迟节点
该论文提出了一个统一的分布式训练框架 AntDT，用于自适应解决分布式训练中的延迟问题，并通过实验证明其在训练效率方面的优势。
- 基于分层模型更新的低延迟同步联邦学习算法
通过分层方式更新全局模型及处理设备异构性问题，同步的分布式学习能够缩短训练时间并取得较好的性能增益。
- 自适应编码联邦学习：隐私保护与降低掉队者影响
本文介绍了自适应编码联邦学习（ACFL）的方法，其中在训练之前，每个设备上传一个带有加性噪声的编码本地数据集到中央服务器，以满足隐私保护要求产生全局编码数据集，通过设计聚合权重的自适应策略，聚合来自非滞后者的梯度和来自全局编码数据集的梯度， - 基于 1 位梯度编码的分布式学习在滞后者存在下的应用
本文研究了分布式学习在存在迟滞节点的情况下的问题，提出了一种基于 1-bit 梯度编码的新的分布式学习方法，通过降低通信开销，在相同的通信开销下获得更好的学习性能。
- NeRCC：用于弹性分布式预测服务系统的嵌套回归编码计算
NeRCC 是一个适用于近似编码计算的抗拖尾策略框架，通过编码回归和采样、计算、解码回归和采样三个层次的工作，以及对两个正则化项的联合优化，在广泛的拖尾情况下精确近似了原始预测，超过了现有技术的最高 23%。
- 去除耗时者的分散式学习中的梯度编码
在本论文中，我们考虑了分布式学习中存在滞后问题的分散化学习问题。虽然梯度编码技术已经应用于分布式学习以规避滞后问题，其中设备发送带有冗余训练数据的编码梯度，但是直接应用这些技术到分散化学习场景中比较困难。为了解决这个问题，我们提出了一种基于 - 高效准确的分割联邦学习
由于资源约束场景的优势，分割联邦学习（SFL）在 AIoT 系统中具有潜力。为了解决数据异构性和滞后问题，本文提出了一种名为滑动分割联邦学习（S^2FL）的新型 SFL 方法，该方法采用自适应滑动模型拆分策略和基于数据平衡的训练机制。实验结 - NeFL: 异构客户端的嵌套联邦学习
嵌套联邦学习（NeFL）是一种通用的框架，通过深层次和宽度缩放有效地将模型划分为子模型，解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程（ODEs）的方式，并通过解耦少量参数来解决训练多个具有不同架构的子模型 - FLuID: 使用不变权重抑制缓慢计算节点的联邦学习方法
使用不变的消失法 (FluID) 和自适应训练框架来解决异构训练环境中的低性能设备导致的性能瓶颈问题。
- 延迟梯度的混合联邦学习算法：迟到的梯度不是灾难
该研究提出了一种混合联邦学习算法（HFL），通过引入异步更新器和自适应延迟 SGD（AD-SGD）等方法，有效解决了异构优化问题中慢设备所带来的训练效率和学习效果不平衡的问题，且算法收敛速度为 $O (1/t+τ)$。
- MM无线边缘网络下低延迟联邦学习的编码计算
本文提出了一种注入结构编码冗余的编码计算框架 CodedFedL，用于在 MEC 网络中进行非线性联合学习，通过利用计算统计属性和通信延迟，找到客户端处理的本地数据点数量和编码冗余量，从而加快训练过程中的收敛速度，并分析了 CodedFed - ICLR随时小批量：利用在线分布式优化中的滞后者
本研究提出了一种名为 Anytime Minibatch 的在线分布式优化方法，其通过多轮共识平均其最小批量梯度来更新主变量，以减轻节点处理速度不均导致的进度缓慢问题。数值结果表明，该方法在 Amazon EC2 上比现有方法快 1.5 倍 - 慢而稳定的梯度也能取得胜利
本研究分析同步和异步分布式随机梯度下降算法的误差和训练时间之间的权衡，考虑到随机拖延延迟，提出了逐渐变化同步性的方法，并在 CIFAR10 数据集上表现良好。
- 编码联邦学习
本研究提出了一种编码联邦学习方法，解决了异构计算平台上 (如无线边缘) 的迟滞计算和通信以及时模型更新的问题，并通过预计算冗余渐变来加速全局模型收敛达四倍以上。
- SAFA: 一种针对低开销的快速联邦学习的半同步协议
本文提出 SAFA 半异步联邦学习协议，通过在模型分发、客户端选择和全局聚合的步骤中引入新设计来缓解滞后、崩溃和模型陈旧的影响，以提高效率和改善全局模型的质量，从而在通信成本可接受的情况下缩短联邦循环时间、减少本地资源浪费、提高全局模型的准 - 强健且通信高效的协作学习
本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进 - 分布式学习中的滞后处理减轻随机梯度编码
本文提出了一种适用于随机拖延者的梯度编码方案（SGC），它通过一种成对平衡的设计将数据点冗余分配给工作人员，并忽略了拖延者，证明了 SGC 的收敛速度与批量随机梯度下降的收敛速度相匹配，并演示了设计中的冗余量如何改进收敛速度和处理大量拖延者