使用 DecentralizePy 轻松实现去中心化学习
本文介绍了 JWINS，一种通信高效且完全分散的学习系统，通过稀疏化仅共享少量参数，使用小波变换和随机通信切断降低信息损失并减少传输字节数，可在非 I ID 数据集上训练出接近于全共享的 DL 准确率，且可节省多达 64% 的字节数，在低通信预算下优于 CHOCO-SGD 算法。
Jun, 2023
在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。
May, 2024
SkipTrain 是一种新的分散式学习算法，通过策略性地跳过一些训练轮次并用同步轮次代替，从而减少能耗，并且在能耗减少的同时，能够获得比传统的 DL 算法更高精度的模型。
Jul, 2024
本文提出了一种分布式学习算法 DemLearn，以实现 Dem-AI 哲学中分布式机器学习系统所需的政治化学习方法，其采用自组织分层结构机制、联想聚类机制以及学习机制，并在 MNIST、Fashion-MNIST、FE-MNIST 和 CIFAR-10 数据集上测试，结果表明此算法的泛化性能在学习模型方面显著优于传统的 FL 算法。
Jul, 2020
在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但不需要从每个客户端收集数据，并且能够更好地保护每个客户端的数据隐私。
Jun, 2024
本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。
Dec, 2019
本研究致力于通过元学习算法解决神经网络在面对不确定性时难以适应环境变化的问题，并探讨如何利用去中心化神经网络 (Decentralized Neural Networks, Decentralized NNs) 在解决多重预测问题、构建层次化神经网络模型以及建立跨模态预测模型等方面实现自主智能机器的梦想。
Feb, 2023