本文提出了一种分布式学习算法 DemLearn，以实现 Dem-AI 哲学中分布式机器学习系统所需的政治化学习方法，其采用自组织分层结构机制、联想聚类机制以及学习机制，并在 MNIST、Fashion-MNIST、FE-MNIST 和 CIFAR-10 数据集上测试，结果表明此算法的泛化性能在学习模型方面显著优于传统的 FL 算法。

Jul, 2020

提出了一种面向资源受限设备的分散协作机器学习框架，使用了基于原型的增量学习算法、基于随机的模型交换协议以及用于预测和原型创建的两种算法。与典型的集中式增量学习方法相比，在准确性、训练时间和鲁棒性方面取得了非常有前景的结果。

Dec, 2023

分布式继续学习研究了多智能体在其环境中独立面对独特任务并逐步开发和分享知识的交叉点。通过引入数学框架，捕捉了分布式继续学习的关键方面，包括智能体模型和统计异质性、持续分布转移、网络拓扑和通信限制。我们提出了三种信息交换模式：数据实例，完整模型参数和模块化（部分）模型参数，并对每种共享模式开发了相应的算法，并在各种数据集、拓扑结构和通信限制下进行了广泛的实证研究。我们的研究结果揭示了三个关键见解：随着任务的复杂化，参数共享比数据共享更加高效；模块化参数共享在最小化通信成本的同时，提供了最佳性能；结合多种共享模式可以累积改善性能。

May, 2024

本文提出了一种利用多智能体网络进行分布式的集体终身学习算法（CoLLA），通过分布式地共享学习知识，在维护本地数据隐私的同时，在多个任务上表现出更好的性能，同时提供了理论保障。

Sep, 2017

该研究论文介绍了一种新颖的分布式机器学习范式 —— 共识学习，它将经典的集成方法与点对点系统中部署的共识协议相结合。该算法包括两个阶段：参与者开发模型并对任何新的数据输入提交预测；个体预测作为输入参与通信阶段，该阶段由共识协议控制。共识学习保证用户数据隐私，同时继承底层共识机制对拜占庭攻击的安全措施。我们对特定共识协议进行了详细的理论分析，并将共识学习集成与集中式集成学习算法的性能进行了比较。此外，通过各种数字模拟，描述了算法对拜占庭参与者的鲁棒性。

Feb, 2024

Swarm Learning is a decentralized machine learning framework that leverages blockchain technology to address privacy and security concerns in deep learning models by reducing central dependency, increasing scalability, and enabling secure and private data management.

May, 2024

通过综合研究当前对聚类型联邦学习方法，本文提出了一个四层框架（HCFL），并针对每一层中当前聚类方法面临的挑战提出了一个增强聚类方法 HCFL+，通过广泛的数值评估展示了我们的聚类框架和改进组件的有效性。

Oct, 2023

提出了 DeLAMA 算法，它是一种具有动态协作图的分散式多智能体协同学习算法，能够促进自主协作关系学习和适应动态任务，实现了 MSE 减少 98.80% 和分类准确率提高 188.87%，为未来建立智能、分散式和动态多智能体系统提供了基础技术。

Mar, 2024

研究使用无人机队列跨越一组地理分散、资源受限的设备集来训练机器学习模型；其中，关于设备群集的时间变化数据异构性和计算资源不足性，推动了我们方法的四个关键部分：（i）分层的领导机、工作机和协调机无人机群体、（ii）个性化联合学习 (HN-PFL) 的分层嵌套，一种跨工作 - 领导 - 核心网络层次的分布式机器学习框架，（iii）通过在无人机群体之间进行模型训练，合作无人机资源汇集以解决设备的计算不足问题，（iv）模型 / 概念漂移来对时间变化的数据分布进行建模，同时考虑微观（即无人机级别）和宏观（即群体级别）系统设计，微观水平上，我们提出了网络感知 HN-PFL，在该方案中，我们在群体内分布式地编排无人机，以优化能耗和机器学习模型性能，并具有性能保证。 在宏观水平上，我们关注群体轨迹和学习持续时间设计，将其作为顺序决策问题并通过深度强化学习来解决。通过模拟，证明了我们方法在机器学习性能、网络资源节约和群体轨迹效率方面的改进。

Jun, 2021

本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。

Oct, 2020