探索 P2P 通信中断对灾难情景下完全去中心化学习的影响
去中心化学习以网络结构、学习效果、中心性指标和知识传播为重点，通过研究三种网络拓扑和六种数据分布方法，发现全局中心性指标与学习效果相关，而局部聚类性影响较小；同时揭示了从外围到中心节点的知识转移的挑战，以及中心节点对知识传播的拉力效应；探讨了度分布对中心节点学习的积极影响以及从外围节点获取知识时的稀释效应；最后，展示了跨隔离社区的知识传播所面临的巨大挑战。
Feb, 2024
通过将无服务器计算与点对点网络相结合，提出了一种在资源限制下实现高效并行梯度计算的新型架构，相比传统的点对点分布式训练方法，在梯度计算时间上取得了显著提升，同时也引入了更高的成本。
Sep, 2023
使用点对点深度学习算法，实现分布式边缘设备之间的协作训练深度神经网络，无需交换原始训练数据或依赖中央服务器。我们发现模型漂移导致本地训练和共识阶段之后的测试性能出现显著震荡，并确定了放大性能震荡的因素。通过我们的创新方法 P2PL with Affinity，在非独立同分布的设置中，我们能够减弱测试性能震荡，而不增加额外的通信成本。
Dec, 2023
通过优化通信链路的混合权重，提出了一种被称为 Soft-DSGD 的鲁棒性分散式随机梯度下降方法，它能够在通信不可靠的情况下实现相同的渐近收敛速率的分散式训练系统，同时利用所有可用的非可靠通信链路加速收敛。
Aug, 2021
一种考虑了分散式机器学习和数据保护的联邦学习方式，通过构建本地图和局部连接来训练个人的、个性化的非线性模型，实现了低通讯成本和对数据的隐私保护。
Jan, 2019
通过直接节点间合作训练的机器学习模型中，我们探讨了连接节点的网络拓扑对其性能的影响，研究了不同类型的拓扑对知识传播的作用，揭示了节点的连接性和网络性质在此过程中的不同角色，证明了知识传播不仅仅需要节点之间的弱连通性，而且较为集中的节点在传播中起到了重要作用，而紧密结合的群体则严重阻碍了知识传播。
Jul, 2023
本文提出了一种高效的分散式（点对点）和异步算法来解决个性化模型的学习，同时满足强隐私要求，并证明了它的收敛速率。我们展示了如何使算法往常差异保持私密以保护个人数据集的信息披露，并正式分析了效用和隐私之间的权衡。实验结果表明，在非私密约束下，我们的方法大大优于以前的工作，在隐私约束下，我们可以显著改进在独立学习中得到的模型。
May, 2017
去中心化联邦学习，在保持训练数据本地化的同时，能够在网络上分布式设备上进行个体机器学习模型的协作训练。我们的研究强调了去中心化联邦学习的有效性受连接设备的网络拓扑结构的显著影响。通过简化的数值模型研究这些系统的早期行为，我们得出了一种改进的人工神经网络初始化策略，利用底层网络节点的特征向量中心性分布，大大提高训练效率。此外，我们的研究还探索了在我们提出的初始化策略下的可扩展行为和环境参数的选择。这项工作为在分布式和非协调环境中进行更高效、可扩展的人工神经网络训练铺平了道路，并深入了解了网络结构和学习动力之间的相互作用。
Mar, 2024
我们提出了 P2PL 算法，它是一种实用的多设备对等深度学习算法，不需要边缘服务器或云端的协调，适用于超过 5G 计算环境（如智能城市）中的规模、延迟、带宽和单点故障问题，并通过最大范数同步、设备上的深度模型训练保护隐私、本地设备间通信实现分布式一致性。通过实验证明，即使使用 100 台设备和松散的随机一致性权重，所有参与设备都能达到联邦和集中式训练所达到的相同测试性能，并将这些实验结果扩展到具有多样化网络拓扑、稀疏和间歇通信以及非 IID 数据分布的环境中。
Oct, 2023