ICMLJun, 2021

神经网络的多速率训练

PDF
TL;DR本文提出了一种多速率神经网络训练方法，将神经网络参数划分为 “快速” 和 “慢速” 部分，在不同的时间尺度上进行训练，从而获得传输学习任务的显著计算加速。我们通过在视觉和 NLP 应用中 fine-tune 深度神经网络，证明了我们可以在几乎一半的时间内完成调整，而不影响所得模型的泛化性能。同时，我们分析了多速率方案的收敛性质，并与普通随机梯度下降算法进行比较。本文的贡献是揭示了使用多速率技术进行神经网络训练的潜力，并为未来的工作提供了几个起点。
multirate trainingneural networkpartitioningtransfer learningconvergence
发现论文，激发创造
  • 通过人工合成的中间标签进行分区神经网络训练

    通过将模型划分到多个 GPU 上并生成合成中间标签来训练各个部分，以减少数据通信和保持模型准确性为目标，该研究证实了该方法在减少内存和计算需求的同时实现了类似传统训练方法的测试准确性，从而减轻了训练大型神经网络的资源密集性，为更高效的深度学习模型开发铺平了道路。

    Mar, 2024

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 分裂增强神经网络

    通过一种创新的训练策略，称为 Split-Boost，提高了前馈神经网络的性能，自动引入正则化行为，减少超参数数量和调优时间，在医疗保险设计问题中得到了验证。

    Sep, 2023

  • 利用方差迁移和学习速率自适应增量式生长神经网络加速训练

    通过考虑参数化和优化策略对训练动态的影响，我们开发了一种高效增长神经网络的方法，该方法动态稳定权重、激活和梯度缩放，提出一种学习率适应机制来解决不平衡训练问题，并取得了与训练大型固定模型相当或更好的准确性和训练速度加快。

    Jun, 2023

  • 层并行深度神经网络训练的多层初始化

    本论文研究了多级初始化策略，以及基于时间有限制微分方程与网络离散化的深九层前馈神经网络训练方法，结果表明这种方法有效降低了网络训练的时间和初始参数随机性敏感度，并提供了一种正则化效应。

    Dec, 2019

  • 深度卷积神经网络的增量式训练

    提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

    Mar, 2018

  • 多任务神经网络共享与任务特定参数的轮替训练

    该论文介绍了一种用于训练难参数共享的多任务神经网络的新型交替训练程序，该方法通过交替更新共享权重和任务特定权重，利用模型的多头架构，从而降低计算成本，增强训练规范化，并提高泛化性能。实证实验表明，该交替训练程序延迟过拟合，提高了预测准确性，降低了计算需求，对难参数共享的多任务神经网络的训练具有重要意义。

    Dec, 2023

  • 一次参数训练，多任务学习与迁移学习

    本文介绍了一种基于小参数集合的深度神经网络迁移学习和多任务学习的新方法，通过调整网络中的特定组件使其适应不同任务，以达到在多个任务中共享参数并且性能表现良好的目的。

    Oct, 2018

  • 分布式深度学习的扩展方法

    该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

    Nov, 2016

  • 迈向更好的准确性和效率平衡：分而协同训练

    通过将大型神经网络分解成多个小型网络，并通过共同训练和学习来提高网络的多样性，小型网络可以在不增加参数和 FLOPs 的情况下实现更好的集成性能和更快的推理速度。我们在八个不同的神经结构和常见基准测试中验证了该论点，代码可在 https://github.com/FreeformRobotics/Divide-and-Co-training 中获得。

    Nov, 2020