云、移动和边缘环境中的分布式学习综述

May, 2024

云、移动和边缘环境中的分布式学习综述

A Survey of Distributed Learning in Cloud, Mobile, and Edge Settings

Madison Threadgill, Andreas Gerstlauer

TL;DR在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。

Abstract

In the era of deep learning (DL), convolutional neural networks (CNNs), and large language models (LLMs), machine learning (ML) models are

deep learning distributed learning convolutional neural networks large language models model parallelism

发现论文，激发创造

分布式机器学习调查

本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。

Dec, 2019

无线网络中的分布式学习：最近进展与未来挑战

本文主要研究了分布式学习如何在无线边缘网络中高效地部署，主要介绍了联邦学习、联邦蒸馏、分布式推理和多智能体强化学习等多种分布式学习范例，并提供了详细的文献综述和通信技术优化实例，旨在为实际无线通信网络中分布式学习的部署提供个整体指导原则。

Apr, 2021

深度学习并行和分布式技术揭秘：并发性分析深入研究

本文综述了 Deep Neural Networks 的并行处理问题，探讨了并行化分布式架构，并详细介绍了并发类型、异步随机优化、通信方案、神经架构搜索等不同方向的研究方法，最终提出了深度学习并行处理的潜在方向。

Feb, 2018

云、边缘和终端设备上的深度神经网络分区调研

本篇文章详细调研了针对云、边缘和端设备中的深度神经网络划分方法的最近进展和挑战，并提出了一个基于五维分类框架的统一数学模型，以及一组用于比较和评估这些方法的度量标准。

Apr, 2023

从分布式机器学习到分布式深度学习的调查

本文就分布式机器学习算法进行了全面的调研，综述了当前的技术发展前景和所存在的限制。

Jul, 2023

现代机器学习的景观：机器学习，分布式学习和联邦学习的综述

现代机器学习的综述，包括高级算法、应用和框架，介绍了并行分布式学习、深度学习和联邦学习等内容。

Dec, 2023

从分布式机器学习到联邦学习：一项调查

通过对联邦学习的现有作品进行全面调查，提出功能框架和分类学相关技术，以及联邦学习系统的分布式培训，数据通信和安全性。

Apr, 2021

无线网络中的协作学习：介绍性概述

本文主要关注跨无线设备的协作训练，分布式机器学习算法解决了数据隐私和计算资源分散利用的问题，但无线设备的异构性与通信限制也给分布式算法设计带来了挑战。

Dec, 2021

边缘设备上实现深度学习

本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

Oct, 2022

利用边缘到云的连续性在分散数据上实现可扩展机器学习

本文介绍了边缘计算智能（如边缘人工智能 / 机器学习）的应用和挑战，为解决现有方法存在的采用障碍，提出了一种基于模型为中心的设计，以建立分散体系结构下的高效协作学习。

Jun, 2023