- 透过树木看到森林：部分变压器梯度的数据泄漏
分布式机器学习中的梯度反演攻击问题及其对隐私数据的泄露风险进行研究和验证，并发现在语言模型的各个中间层存在训练数据泄露的漏洞。实验证实，单个 Transformer 层甚至一个线性组件的 0.54% 参数的梯度也存在训练数据泄露的问题。此外 - 非联邦多任务分割学习的异构源
边缘网络和移动计算的发展需要设计新的分布式机器学习机制来服务于异构数据源。本文提出了一种多任务分割学习（MTSL）框架，结合了分割学习（SL）的优点和分布式网络架构的灵活性，以实现高效处理异构数据源的多任务学习，具有快速收敛、低通信成本和对 - 异构环境中联邦学习的双段聚类策略
提出了一种双段聚类（DSC）策略，通过首先根据异构通信条件对客户端进行聚类，然后通过样本大小和标签分布进行第二次聚类，以解决数据和通信异构性问题。实验结果表明，该策略可以提高联邦学习的收敛速度，在异构环境中相比经典聚类算法具有更高的准确性。
- 选择有益的本地梯度加速联邦学习
本文提出了 BHerd 策略，通过选择有益的本地梯度集合来加速联邦学习模型的收敛，并通过实验证明该策略在选择有益本地梯度方面是有效的。
- 基于垂直分区数据的实用训练的解耦垂直联合学习
垂直联邦学习（VFL）是一种新兴的分布式机器学习范式，其中具有共同实体的不同特征的所有者合作学习一个全局模型，而不共享数据。我们提出了解耦的 VFL（DVFL）作为一种分块学习方法，它允许分散聚合和特征学习与标签监督之间的隔离，在容错性和安 - 具差分隐私的联邦学习
我们展示了在不同类型的数据上，客户端数量和差分隐私机制的增加对模型性能的影响的实证基准，结果显示在分布式和差分隐私设置中，非独立同分布和小数据集的性能降低最为显著。
- 基于二进制线性树承诺的分布式机器学习所有权保护
我们提出了一种基于二进制线性树承诺的所有权保护模型，以确保有限的开销和简洁的证明来保证计算完整性，通过使用内积论证实现高效的证明聚合，并使用工作人员身份密钥为模型权重的证明加上水印，防止承诺被伪造或复制。
- 联邦蒸馏中的对数攻击
Federated Distillation (FD) 是一种新颖且有前景的分布式机器学习范式，其中利用知识蒸馏来促进更高效和灵活的跨设备知识传输。我们引入了一种为 FD 量身定制的攻击方法 FDLA，其通过操纵 FD 中的逻辑通信来显著降 - 个性化联邦学习中的上下文调节和元学习
提出了一种将联邦学习与元学习技术相结合的新框架，通过学习数据批次的上下文信息并使用该知识生成调制参数来动态调整基础模型的激活，从而实现了联邦学习的效率和泛化能力的提高。实验结果表明，与现有的联邦学习方法相比，这种方法在收敛速度和模型性能方面 - 基于多资源交换的联邦学习激励机制
通过多用户协作计算框架，将联邦学习中的模型所有者和数据所有者分为两种角色，通过允许数据所有者将额外的本地计算任务转移到模型所有者来有效地促使其参与，从而实现高准确度且最小化联邦学习任务所需时间的目标
- DAGC：面向移动计算的分布式机器学习数据容量感知自适应稀疏梯度压缩
在移动环境中，分布式机器学习面临着严重的通信瓶颈问题。梯度压缩已成为解决此问题的有效方法，在带宽有限和流量计费等环境中可以提供显著的好处。然而，在非 IID 环境中，由于一种适用于所有数据的压缩方法，它们遭遇到严重的性能下降。为具有不同数据 - 图上异步 SGD：异步分布式和联邦优化的统一框架
分布机器学习中的去中心化和异步通信是提高通信复杂性的两种流行技术，而将这两种技术结合起来仍然是一个挑战。本文引入了一种名为 AGRAF SGD 的异步 SGD 算法框架，它包括了许多流行算法的异步版本，如 SGD、去中心化 SGD、本地 S - 加权抽样分割学习（WSSL）：在分布式学习环境中平衡隐私、鲁棒性和公平性
分布式机器学习中的权重抽样分割学习（WSSL）框架，旨在强化隐私、鲁棒性和公平性。通过将学习过程分散在多个客户端上，WSSL 保护数据的机密性，并通过策略性选择具有贡献的有影响力的客户端来确保公平学习。通过对人体步态传感器和 CIFAR-1 - SPIRT：一种容错可靠的对等服务无服务器的机器学习训练架构
服务无服务器计算为分布式机器学习带来了显著的进展，特别是在基于参数服务器的体系结构中。然而，在点对点（P2P）分布式网络中整合服务器特性仍然是一个未被开发的领域。本文介绍了 SPIRT，一个容错、可靠、安全的无服务器 P2P 机器学习训练架 - CORE: 分布式优化的通用随机重建算法及可证明低通信复杂度
基于 Common randOm REconstruction (CORE) 技术，本研究提出了一种可以压缩传输信息、降低通信复杂度的分布式机器学习算法，并通过应用于线性模型和非凸优化等分布式任务，设计了新的具有更低通信复杂度的分布式算法。
- 精准聚类联邦学习的联合 cINN 聚类
我们提出了一种名为 FCCA 的联邦 cINN 聚类算法，通过将客户端的私有数据转换为多元高斯分布，学习编码的潜在特征，以达到客户端聚类和改善全局模型性能的目的。实验结果表明，FCCA 在各种模型和数据集上的性能优于其他最先进的集群联邦学习 - FedPop：联邦式基于人口的超参数调优
本文介绍一种名为 FedPop 的新型超参数调整算法，采用基于种群的进化算法来优化分布式机器学习模式中的超参数，从而提高计算效率并探索更广泛的超参数搜索空间。在常见的联邦学习基准和复杂真实世界的联邦学习数据集上进行的实证验证表明，该方法有效 - 分布式训练通用架构的稳健全异步方法
通过提出一种称为 R-FAST 的稳健全异步随机梯度跟踪方法，该方法可以消除数据异构性、允许数据丢失，并利用两个树形图进行通信，从而在分布式机器学习中实现了高效的非同步算法。
- 从分布式机器学习到分布式深度学习的调查
本文就分布式机器学习算法进行了全面的调研，综述了当前的技术发展前景和所存在的限制。
- 带自适应调参客户端的联邦学习
提出了一种名为 Delta-SGD 的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在 73% 的实验中达到 TOP-1 准确度，在 100% 的实验中