通过考虑参数化和优化策略对训练动态的影响，我们开发了一种高效增长神经网络的方法，该方法动态稳定权重、激活和梯度缩放，提出一种学习率适应机制来解决不平衡训练问题，并取得了与训练大型固定模型相当或更好的准确性和训练速度加快。

Jun, 2023

神经生长是将小型神经网络扩展到大型网络的过程，其优化生长时机的研究相对较少。本研究揭示了神经生长固有地具有正则化效应，其强度受生长时机政策的影响。为解决欠拟合和过拟合风险，本文提出了一种基于风险感知的生长时机策略，在潜在的欠拟合和过拟合风险水平的指导下自动调整生长时机。在使用 CIFAR-10/100 和 ImageNet 数据集进行的综合实验中，所提出的策略在容易欠拟合的模型中实现了高达 1.3% 的准确率改善，同时相对于现有方法，在过拟合模型中实现了相似的准确率。

Jan, 2024

本文提出一种动态增长的 GAN 训练方法，将架构搜索技术作为一个交错步骤与梯度训练相结合，以周期性地寻求生成器和鉴别器的最佳架构增长策略，从而实现了逐步增长训练的好处和更广泛的架构设计空间的改进性能，实现了新的图像生成技术的最新进展，提供了生成器 - 鉴别器平衡和卷积层选择等 GAN 模型设计方面的建设性见解。

Jun, 2021

本文介绍了一种名为 GradMax 的技术，可以在训练期间添加新的神经元而不影响已经学到的东西，同时提高训练动态，并通过奇异值分解（SVD）高效地找到最佳初始化，从而实现了网络架构优化的目的。

Jan, 2022

此论文提出了一种通过将已训练的子网络与新输入进行匹配来增强神经网络性能的方法，借助 Hoeffding 不等式提供了理论基础，同时实现了一种匹配方法，可以在不训练新任务的情况下实现转移学习，并且提高了参数效率。

Jan, 2022

通过对 CNN 进行 fine-tuning，增加模型容量可以更自然的适应目标数据。同时，通过对比发现增加网络单元的增长方法在一些基准数据集中表现出色。

Jul, 2019

该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

Feb, 2018

本文提出了 Continuous Growth and Pruning (CGaP) 方法，旨在在训练模型期间最小化冗余并从一开始便避免引入冗余，通过持续增长和修剪过程获取紧凑和准确的模型。根据实验结果，在代表性数据集和 DNN 结构上，CGaP 的效果优于以前的仅修剪预定义结构的方法，达到了参数减少 78.9％和 85.8％，FLOPs（浮点计算数）减少 53.2％和 74.2％。

May, 2019

我们通过自然梯度的方法，动态地扩展神经网络的宽度和深度，以降低训练过程中的损失。对于不确定合适的网络架构尺寸的问题，我们提出了一种自动收缩神经网络的方法。

Jul, 2023

通过对预训练的 transformer 的参数学习，使用线性变换因子初始化更大的模型，实现更快的 transformer 训练，并且减少了高达 50% 的计算成本。

Mar, 2023