Jul, 2021

ResIST：分层分解 ResNet 以进行分布式训练

PDF
TL;DR提出了一种名为 ResIST 的分布式训练协议，通过将全局 ResNet 随机分解为多个浅层子 ResNet 并在本地迭代时分别独立训练，然后将其更新同步并聚合为全局模型，以在迭代中每次仅将网络参数的一小部分传输给每个计算机，从而减少每次迭代的通信，内存和时间要求，且相对于数据并行训练和具有本地 SGD 的数据并行训练等常见协议，可在通信和计算要求方面获得降低，同时与模型性能相比也不逊色。
resistdistributed trainingresidual networkscommunication reductionmodel performance
发现论文，激发创造
  • 使用独立子网络训练的分布式深度神经网络学习

    提出了一种名为独立子网训练（IST）的分布式全连接神经网络学习新方法，通过将原始网络分解成具有相同深度的一组窄子网络，使 IST 能够有效处理强制分布式数据、慢速互连或有限设备内存等问题，并且训练时间远低于传统的分布式学习方法。

    Oct, 2019

  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • ShaResNet: 共享权重减少残差网络参数数量

    本文通过共享同一空间尺度下的残差块中卷积层的权重，提出了一种名为 ShaResNet 的深度残差网络，使网络参数得到显著减少，同时在图像分类任务中保证了准确率。

    Feb, 2017

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • IamNN：用于高效图像分类的迭代自适应移动神经网络

    本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

    Apr, 2018

  • Resnet in Resnet：广义残差连接结构

    介绍了一个深度双流架构 Resnet in Resnet（RiR），该架构推广了 Residual networks（ResNets）和标准 CNNs，且无计算开销，通过在 CIFAR-10 上实现，RiR 不断提高性能、在 CIFAR-100 上创新了新的最优结果

    Mar, 2016

  • 适应性 ResNet 架构用于资源受限的物联网系统中的分布式推理

    本文通过实证研究，鉴定了 ResNet 中可舍弃的连接，以实现在资源不足情况下的分布式计算；同时，提出了一个多目标优化问题，旨在减少延迟、提高准确性；实验证明了自适应的 ResNet 架构可以在分布过程中减少共享数据、能耗和延迟，同时保持高准确性。

    Jul, 2023

  • 深度残差网络中学习严格身份映射

    本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

    Apr, 2018

  • 从动力系统观点设计的多层残差网络

    本文提出使用动力学系统视角来分析残差网络损伤特性，基于这些分析引入一种新的方法来加速残差网络的训练，并将该方法应用于图像分类等多个任务。

    Oct, 2017

  • ResFed: 通过传输深度压缩残差实现通信高效的联邦学习

    提出一种基于残差的联邦学习（ResFed）框架，通过稀疏化和量化残差，实现通信效率的提高，大大减少了在无线网络中应用联邦学习所需要的大量通信成本。

    Dec, 2022