使用独立子网络训练的分布式深度神经网络学习

Oct, 2019

使用独立子网络训练的分布式深度神经网络学习

Distributed Learning of Deep Neural Networks using Independent Subnet Training

Binhang Yuan, Cameron R. Wolfe, Chen Dun, Yuxin Tang, Anastasios Kyrillidis...

TL;DR提出了一种名为独立子网训练（IST）的分布式全连接神经网络学习新方法，通过将原始网络分解成具有相同深度的一组窄子网络，使 IST 能够有效处理强制分布式数据、慢速互连或有限设备内存等问题，并且训练时间远低于传统的分布式学习方法。

Abstract

distributed machine learning (ML) can bring more computational resources to bear than single-machine learning, thus enabling reductions in training time. Distributed learning partitions models and data over many machines, allowing model and dataset sizes beyond the available compute po

distributed machine learning independent subnet training fully connected neural network learning model parallel mandatory distribution

发现论文，激发创造

朝着对独立子网络训练的更好理论理解

本文介绍了一种名为 Independent Subnetwork Training（IST）的高效神经网络模型并行化技术，其与压缩通信的分布式方法有着基本差异，在解决分布式大规模神经网络模型训练中的通信与计算问题上具有良好的优化性能。

Jun, 2023

使用子图近似进行图卷积网络的分布式训练

本文介绍了一种通过子图近似方案，在减小同步开销、降低内存占用的同时，解决分布式训练非独立同分布图形数据（如图卷积网络）中信息丢失与准确性问题的训练策略。

Dec, 2020

规模安全分布式训练

本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

Jun, 2021

多智能体下分布式深度神经网络学习

提出了一种基于跨数据源的深度神经网络训练技术，旨在解决在健康医疗和金融等领域中标记数据和计算资源的短缺问题，并可以在数据敏感应用程序中进行分布式训练。

Oct, 2018

云、移动和边缘环境中的分布式学习综述

在深度学习、卷积神经网络和大型语言模型的时代，机器学习模型变得越来越复杂，需要大量的计算资源进行推理和训练。为了解决这个挑战，分布式学习已经成为一种关键方法，通过在各种设备和环境中进行并行化来实现。本调查研究对分布式学习的领域进行了探索，涵盖了云端和边缘设置。我们深入研究了数据和模型并行性的核心概念，研究了如何在不同维度和层次上对模型进行分割以优化资源利用和性能。我们分析了针对不同层类型的各种分割方案，包括全连接层、卷积层和循环层，突出了计算效率、通信开销和内存限制之间的权衡。这项调查研究通过比较和对比不同背景下的分布式学习方法，为未来的研究和发展提供了宝贵的见解。

May, 2024

无线通信网络中加速的分裂式联邦学习

本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟

Oct, 2023

ResIST：分层分解 ResNet 以进行分布式训练

提出了一种名为 ResIST 的分布式训练协议，通过将全局 ResNet 随机分解为多个浅层子 ResNet 并在本地迭代时分别独立训练，然后将其更新同步并聚合为全局模型，以在迭代中每次仅将网络参数的一小部分传输给每个计算机，从而减少每次迭代的通信，内存和时间要求，且相对于数据并行训练和具有本地 SGD 的数据并行训练等常见协议，可在通信和计算要求方面获得降低，同时与模型性能相比也不逊色。

Jul, 2021

分布式机器学习调查

本文介绍机器学习技术的发展以及为了应对更加复杂的应用而需要分布式系统来分担机器学习的工作负担，但分布式系统带来的挑战在于高效地并行训练过程和创建一个连贯的模型。文中提供了分布式机器学习领域当前的最新进展和系统概述。

Dec, 2019

基于分布式资源感知的异构系统学习

介绍了一种分布式训练神经网络的资源管理机制 ——DISTREAL，采用动态 dropout 机制调整每个设备的计算复杂度，通过 Pareto-optimal DSE 技术和联邦学习系统，实现了设备自主选择 dropout 向量来适应不断变化的可用资源，大幅提高了收敛速度而不损失精度。

Dec, 2021

协作学习的成本自适应推理

我们提出了一个合作训练框架，用于深度神经网络架构，使得运行时的网络深度可以根据动态计算资源需求进行调整。

Dec, 2023