Dec, 2022

深度孵化：通过分而治之训练大模型

PDF
TL;DR本文提出 Deep Incubation 训练方法，将大型深度学习模型分为互相连接的子模块进行训练，并经过实验证明在训练效率和准确率方面优于 end-to-end 训练方法。
deep learningtrainingsub-modulesefficiencyaccuracy
发现论文，激发创造
  • 模块化网络：学习分解神经计算

    本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

    Nov, 2018

  • 尝试模块化训练：一种新的模块化 DNN 模型的范式

    该论文提出了一种将模块化融入模型训练过程中来优化训练并使模型具有可重用性的方法，并在卷积神经网络模型上对其进行了评估。

    Jun, 2023

  • 深度卷积神经网络的增量式训练

    提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

    Mar, 2018

  • 大型语言模型的进化子网络训练

    基于大规模语言模型参数冗余的启发，我们提出了一种新的训练范式：进化子网络训练（EST），并将其应用于训练 GPT2 和 TinyLlama 模型，从而实现了 26.7％的 FLOPs 节省以及在下游任务中的性能提升，从而减少了训练成本并提高了泛化性能。

    Jun, 2024

  • 动态训练和可定制推断的弹性神经网络

    通过动态神经网络的方法，我们提出了一种训练大型网络并在推理阶段从中提取子网络的简单方式，以满足模型尺寸或复杂性约束，实验证明该方法可以在单个大型模型中显著缩短训练时间，并在不同子网络尺寸和复杂性上有效提高分离性能。

    Dec, 2023

  • 大规模深度学习模型的高效训练：文献综述

    对于深度学习模型的训练加速技术的综述，主要从数据中心、模型中心、优化中心、预算训练和系统中心五个角度入手，详细介绍了各个方面减小计算复杂度的方法，其中包括数据样本的正则化、模型参数的减少和优化目标的设计等。

    Apr, 2023

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 深度学习训练过程增强

    本文介绍了几种新颖的深度学习训练技术，如广义模型无关课程学习方法和级联加和增强方法，它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性，而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。

    Nov, 2022

  • 通过核函数配对学习模块化深度学习

    本文提出了一种基于模块化学习的深度神经网络构造及优化方法，利用弱监督方法学习各模块之间的隐层特征，从而实现高效的标签利用，可实现 94.88% 的准确率，同时还具有模型设计和实现的简单性、可维护性和重用性，适用于迁移学习领域。

    May, 2020

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018