尝试模块化训练：一种新的模块化 DNN 模型的范式

Jun, 2023

尝试模块化训练：一种新的模块化 DNN 模型的范式

Modularizing while Training: a New Paradigm for Modularizing DNN Models

Binhang Qi, Hailong Sun, Hongyu Zhang, Ruobing Zhao, Xiang Gao

TL;DR该论文提出了一种将模块化融入模型训练过程中来优化训练并使模型具有可重用性的方法，并在卷积神经网络模型上对其进行了评估。

Abstract

deep neural network (DNN) models have become increasingly crucial components in intelligent software systems. However, training a DNN model is typically expensive in terms of both time and money. To address this issue, researchers have recently focused on reusing existing DNN models -

deep neural network modularization convolutional neural network training optimization model reuse

发现论文，激发创造

通过核函数配对学习模块化深度学习

本文提出了一种基于模块化学习的深度神经网络构造及优化方法，利用弱监督方法学习各模块之间的隐层特征，从而实现高效的标签利用，可实现 94.88% 的准确率，同时还具有模型设计和实现的简单性、可维护性和重用性，适用于迁移学习领域。

May, 2020

神经网络学习中复杂性管理的一种手段：模块化

提出一种模块化的神经网络设计方法，将神经网络分解为控制模块和多个实现基本操作的功能模块，以提高训练速度、训练稳定性和可维护性，并通过比较整体和模块化神经网络在排序问题上的表现来说明模块化概念，同时讨论了在模块化神经网络中出现的一些问题。

Feb, 2019

快速训练，表现更佳：过参数化模型中的模块自适应训练

通过研究超参数模型的细粒度、模块级的学习动态，本文提出了一种更高效、更有成效的训练策略。实证研究表明，模块的学习质量与其模块神经切线核的主特征值密切相关。在此发现的基础上，提出了模块自适应训练策略，通过选择更新具有超过动态阈值的主特征值，优化模型的学习和性能。实验结果显示，该策略几乎可以减少一半的计算成本，并得到了比基准方法更高的准确性。

May, 2024

手术图像识别的模块化神经网络方法

深度学习应用在最近几年取得了很多成功，尤其是在计算机视觉领域，卷积神经网络取得了可靠的结果。而自我训练和模块化学习是解决数据访问、标注和问题复杂性的有效方法，能提高分类性能和数据标注分割的准确性。

Jul, 2023

将递归神经网络分解为模块以实现可重用性和替代性

本文提出了一种将循环神经网络分解为模块化的方法，可以解决现有神经网络模型的缺陷，并且可以在不需要从头开始训练模型的情况下重用和替换这些模块，该方法通过 5 个标准数据集的评估发现，其准确率的下降仅为 0.6％而 BLEU 得分上升了 0.10％。

Dec, 2022

模块化网络：学习分解神经计算

本研究提出了一种基于条件计算的灵活选择神经模块的训练算法，该算法能够提高深度学习中的模型容量而不需要过多的计算资源和训练时间，并且在图像识别和语言建模任务中实现了比现有方法更好的性能。

Nov, 2018

深度孵化：通过分而治之训练大模型

本文提出 Deep Incubation 训练方法，将大型深度学习模型分为互相连接的子模块进行训练，并经过实验证明在训练效率和准确率方面优于 end-to-end 训练方法。

Dec, 2022

通过模块化和组合修复弱卷积神经网络模型

通过模块化和组合的方式，CNNSplitter 可以填补弱 CNN 模型，在不改变整个模型的情况下提高目标类（TC）的识别能力，并且实验结果表明在 3 个广泛使用的数据集上，CNNSplitter 可以显着提高 TC 的精确度和召回率，也可以提高非 - TC 的准确率。

Sep, 2022

通过模型再造重复使用深度神经网络模型

SeaM 是一种改进现有 DNN 模型可重用性的工具，它使用基于梯度的搜索方法搜索模型的相关权重，从而重建模型以仅保留与目标问题相关的权重，并且相较于原始模型，在分类准确性上提高了 5.85％，并且重复使用重建模型时缺陷继承平均减少了 57％。

Apr, 2023

独立模块化网络

该论文探讨神经网络的组成特性以及地位，提出了一种基于模块化的网络结构，利用预定的角色将模块拆分，同时提供对模块崩溃问题的解决方案，提高了整个网络的鲁棒性和解析准确性。

Jun, 2023