- SADDLe: 具有异构数据的尖锐感知去中心化深度学习
本文提出 SADDLe，一种利用 Sharpness-Aware Minimization (SAM) 的锐度感知的分布式深度学习算法，以解决分布式训练中的局部过拟合、全局模型泛化不佳和高通信成本等实际挑战。实验结果表明，与现有技术相比，S - LightTR: 一个轻量级的联邦轨迹恢复框架
基于轻量级的客户端 - 服务器架构，充分利用轨迹数据，提供轨迹恢复和数据隐私保护的轻量级框架，旨在提高城市应用的效能。
- 混合联邦图卷积神经网络：一种高效的混合联邦学习算法
提出了一种称为 FedGraph 的泛化算法，该算法使用图卷积神经网络从客户端的子集中学习特征，捕捉特征共享信息，并采用简单但有效的聚类算法聚合每个客户端的深度神经网络生成的特征，同时保护数据隐私。
- 提升无线联邦学习中的公平性和鲁棒性
我们提出了一种基于 Over-the-Air 的联邦学习算法，通过最小最大优化以实现公平性和稳健性，无需复杂的编码 - 解码方案即可收敛于最优解，提高了效率和隐私。
- 面向任务的边缘网络：无线前传的分散学习
这篇论文研究了任务导向的边缘网络，其中多个边缘物联网节点通过网络云中的强大深度神经网络（DNNs）执行机器学习任务。
- 大型语言模型的去中心化训练鲁棒性探索
通过探索去中心化训练的强壮性、去中心化基础模型训练与联邦学习的根本区别以及确保强壮且高效的去中心化训练框架所需的基本组件，本文旨在强调在大型语言模型的去中心化训练上解决安全问题的重要性。
- 有选择性地分享经验改善多智能体强化学习
我们提出了一种新颖的多智能体强化学习方法，即选择性多智能体优先经验中继，在此方法中，智能体在训练过程中与其他智能体共享所观察到的有限数量的过渡现象。我们展示了该方法优于基准的非共享分散训练和最先进的多智能体强化学习算法。此外，仅共享少量高度 - 从分散的元强化学习中出现集体开放性探索
我们在开放式任务分布上通过元强化学习以及分散训练，探究了集体探索策略的产生，发现去中心化的智能体在对抗从五种不同类型任务中抽取出的多个子任务动态组成的大量任务树时，表现出了强大的泛化能力，能够解决训练过程中从未遇到的新任务，并且这种集体探索 - 潜在互动 A2C 用于开放多智能体系统中改进强化学习
本文介绍了一种基于编码器 - 解码器结构的潜在 IA2C 方法，其利用去中心化的训练和执行，学习隐藏状态和其他代理的动作的潜在表示，实验结果表明，潜在 IA2C 显著提高了样本效率，并在具有开放代理人口的时间上进行了评估。
- 异构多机器人强化学习
研究介绍了一种名为 HetGPPO 的新型多智能体强化学习模型，利用图神经网络促进智能体间的通信来优化中介异质性策略，实现了在部分可观测环境下的完全去中心化训练，从而在真实世界中取得了比均质模型更好的鲁棒性。
- ELIGN：基于多智能体内在奖励的期望对齐
该研究探讨在分散型训练或稀疏奖励的情况下，提出了一种自我监督的本质奖励 ELIGN - 期望对齐 - 以及其在多智能体协调问题上的有效性。通过期望对齐代理能够学习到协作行为并且可以进行零次协调，这比基于好奇心的探索方法更加可行。
- 视觉四旋翼导航的并行强化学习模拟
该研究提出了一种基于 AirSim 的仿真框架，实现了有效的并行训练、分散式训练和大规模代理训练，从而在机器人的视觉四轴导航中实现了学习时间从 3.9 小时降低到 11 分钟的优化。
- AdaBest: 通过自适应偏差估计实现联邦学习中最小化客户端漂移
本文提出了一种自适应算法，用于准确估计联邦学习中客户端间的漂移，并通过约束漂移估计的范数使联邦学习更实际，并实验结果表明所提出的算法在各种联邦学习基准中更快达到收敛并实现更高的准确性。
- ICML分散式深度學習共識控制
本论文研究了分散式深度学习模型的训练，提出了共识距离作为影响中心式和分散式训练效果的关键因素，并在理论和实验上证明了降低共识距离可以提高分散式训练模型的泛化性能。同时，本论文提供了实用的训练指南以缓解训练效果下降。
- 准全局动量：加速异构数据下的分散式深度学习
本文研究了多个分布式优化算法在面对不同客户端数据异构程度时的局限性，并提出了一种基于动量法的方法来减轻这种分布式训练困难。通过在多个数据集上的实验，结果表明我们提出的方法比其他现有方法更能够应对客户端数据异构性。
- 隐私保护协作机器学习的可扩展方法
该研究提出了 COPML 算法，这是一个完全去中心化的训练框架，可以保护数据隐私并实现可伸缩性，使用对个体数据进行安全编码的方式在多方之间分发计算负载，并以分布式方式执行训练计算和模型更新。实验演示了 COPML 相较于基准协议在训练速度上 - PowerGossip: 分散式深度學習中实用的低秩通信压缩
介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。
- UVeQFed：联邦学习的通用向量量化
本研究旨在解决联合学习中模型传输的瓶颈问题，提出一种名为 UVeQFed 的通用向量量化方案，通过量化方法的优化，实现了一种去中心化的训练系统，在保证模型传输最小化失真的同时提高了聚合模型的准确性。
- 动态采样与选择性遮蔽：用于高效通信的联合学习
本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。
- AAAI使用分散式矩陣分解實現智能隱私保護推薦
提出一种去中心化的矩阵分解方法作为点 of interest 推荐的解决方案，该方法采用基于随机游走的分布式学习技术，可以显著地提高推荐的准确率和召回率。