本文提出了一种利用多智能体网络进行分布式的集体终身学习算法（CoLLA），通过分布式地共享学习知识，在维护本地数据隐私的同时，在多个任务上表现出更好的性能，同时提供了理论保障。

Sep, 2017

本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于 ADMM。

Oct, 2016

本文提出了一种分布式学习算法 DemLearn，以实现 Dem-AI 哲学中分布式机器学习系统所需的政治化学习方法，其采用自组织分层结构机制、联想聚类机制以及学习机制，并在 MNIST、Fashion-MNIST、FE-MNIST 和 CIFAR-10 数据集上测试，结果表明此算法的泛化性能在学习模型方面显著优于传统的 FL 算法。

Jul, 2020

本研究提出一种具有 Few-shot Learning 算法的网络架构，允许在集中式训练期间代理的数量变化，这可以使新代理的模型适应速度比基线模型快 100 多倍。

Aug, 2022

在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但不需要从每个客户端收集数据，并且能够更好地保护每个客户端的数据隐私。

Jun, 2024

基于任务查询构建动态交互结构的大型语言模型代理网络（DyLAN）在推理和代码生成任务中展现出良好性能，使用无监督度量的自动代理团队优化算法根据每个代理的贡献选择最佳代理，相较于 GPT-35-turbo 的单次执行，DyLAN 在 MATH 和 HumanEval 任务上分别实现了 13.0% 和 13.3% 的改进，并在 MMLU 特定主题上提高了 25.0% 的准确率。

Oct, 2023

本研究提出了一个基于 Hanabi 的多智能体生涯学习测试平台，研究了最新的多智能体强化学习算法，对限制的内存和计算权衡性能以及对超量训练预测的影响，证明了我们的代理可以在没有任何其他假设的情况下良好地与未见代理协调。

Mar, 2021

本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

May, 2022

本文讨论了基于网络化多智能体系统的分散在线凸优化，并提出了一种新的算法 —— 学习增强的分散式在线优化（LADO），使个体代理人仅基于本地在线信息选择动作。与现有的集中式学习增强在线算法形成鲜明对比，LADO 实现了分散式设置下的强大的鲁棒性保证。我们还证明了 LADO 的平均成本限制，揭示了平均性能和最坏情况下鲁棒性之间的权衡，并表明通过明确考虑鲁棒性要求来训练 ML 策略的优势。

Jun, 2023

本文介绍了针对网络中的图形数据处理的分散式学习算法，通过 ADMM 迭代最小化来得到所需的并行程度，并通过案例研究阐明了分散式学习框架对于当代无线通信和网络任务的影响。

Mar, 2015