服务无服务器计算为分布式机器学习带来了显著的进展，特别是在基于参数服务器的体系结构中。然而，在点对点（P2P）分布式网络中整合服务器特性仍然是一个未被开发的领域。本文介绍了 SPIRT，一个容错、可靠、安全的无服务器 P2P 机器学习训练架构，旨在填补现有差距。SPIRT 利用 P2P 系统天然的韧性和可靠性，在数据库操作中使用 RedisAI，从而大幅度降低了模型更新和梯度平均所需的时间，在多种模型和批次大小上都取得了 82% 的降低。该架构展示了对节点故障的容错能力，并熟练地管理了新节点的整合，从而突出了其容错特性和可扩展性。此外，SPIRT 确保节点之间的安全通信，增强了分布式机器学习任务的可靠性。即使面对拜占庭攻击，系统的强大聚合算法仍然保持高水平的准确性。这些发现揭示了无服务器架构在 P2P 分布式机器学习中的巨大潜力，为开发更高效、可扩展和具有韧性的应用程序迈出了重要的步伐。

Sep, 2023

通过这项工作，我们提出了一种对抗恶意服务器、抵御恶意客户端的点对点学习方案，核心贡献是一个通用框架，使得兼容的模型更新聚合算法能够在服务器和客户端恶意行为的环境下运行。此外，我们展示了我们的方法在由数百个节点对标准数据集训练的百万参数模型上的计算效率。

Oct, 2023

我们提出了 P2PL 算法，它是一种实用的多设备对等深度学习算法，不需要边缘服务器或云端的协调，适用于超过 5G 计算环境（如智能城市）中的规模、延迟、带宽和单点故障问题，并通过最大范数同步、设备上的深度模型训练保护隐私、本地设备间通信实现分布式一致性。通过实验证明，即使使用 100 台设备和松散的随机一致性权重，所有参与设备都能达到联邦和集中式训练所达到的相同测试性能，并将这些实验结果扩展到具有多样化网络拓扑、稀疏和间歇通信以及非 IID 数据分布的环境中。

Oct, 2023

使用点对点深度学习算法，实现分布式边缘设备之间的协作训练深度神经网络，无需交换原始训练数据或依赖中央服务器。我们发现模型漂移导致本地训练和共识阶段之后的测试性能出现显著震荡，并确定了放大性能震荡的因素。通过我们的创新方法 P2PL with Affinity，在非独立同分布的设置中，我们能够减弱测试性能震荡，而不增加额外的通信成本。

Dec, 2023

本文提出了一种高效的分散式（点对点）和异步算法来解决个性化模型的学习，同时满足强隐私要求，并证明了它的收敛速率。我们展示了如何使算法往常差异保持私密以保护个人数据集的信息披露，并正式分析了效用和隐私之间的权衡。实验结果表明，在非私密约束下，我们的方法大大优于以前的工作，在隐私约束下，我们可以显著改进在独立学习中得到的模型。

May, 2017

通过在灾害场景中研究对对等通信的各种中断对去中心化学习的影响，我们发现无连接性的丢失对学习过程的准确性的影响要大于数据的丢失，但是网络仍然相对鲁棒，学习过程可以达到较高的准确性。

Oct, 2023

本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

Jun, 2021

本文研究了 Deep Learning 中在协作训练上的瓶颈，提出了一种适用于协作训练的新算法框架，并在实际条件下展示了该方法对 SwAV 和 ALBERT 的预训练效果，结果表明该方法的性能与传统设置相当，成本仅为传统设置的一小部分。最后，提供了一个由 40 名参与者组成的成功的协作语言模型预训练的详细报告。

Jun, 2021

通过开发 P4（Personalized Private Peer-to-Peer）方法解决个性化学习中的客户聚类和数据隐私的挑战，保证每个客户在培训期间和培训后维护不同的隐私保证，并在多个基准数据集和不同的神经网络模型上展示了相对于差分隐私 P2P 技术的高达 40％的精确度提高。

May, 2024

本文全面研究了利用云计算的可扩展和分布式人工智能框架以提高深度学习性能和效率的关键方面，包括数据存储和管理、优化策略、模型部署与服务等，并讨论了云计算人工智能的挑战、限制和未来研究方向。

Apr, 2023