AAAIJan, 2024

何时生长？深度神经网络中层生长的风险感知策略

PDF
TL;DR神经生长是将小型神经网络扩展到大型网络的过程，其优化生长时机的研究相对较少。本研究揭示了神经生长固有地具有正则化效应，其强度受生长时机政策的影响。为解决欠拟合和过拟合风险，本文提出了一种基于风险感知的生长时机策略，在潜在的欠拟合和过拟合风险水平的指导下自动调整生长时机。在使用 CIFAR-10/100 和 ImageNet 数据集进行的综合实验中，所提出的策略在容易欠拟合的模型中实现了高达 1.3% 的准确率改善，同时相对于现有方法，在过拟合模型中实现了相似的准确率。
neural growthgrowth timingregularization effectunderfittingoverfitting
发现论文，激发创造
  • MixtureGrowth: 通过组合学习参数实现神经网络的增长

    深度神经网络使用 MixtureGrowth 方法实现网络扩展和训练，提高了准确率，并减少了计算次数。

    Nov, 2023

  • 正则化深层网络时时间很重要：权重衰减和数据增强影响早期学习动态，在收敛附近影响不大

    研究表明，对于深度神经网络的正则化应在其初期而非后期进行，且应当重视学习过程中的瞬态行为而非渐进行为。

    May, 2019

  • AutoGrow: 深度卷积网络中的自动层增长

    AutoGrow 是一种自动发现 Deep Neural Networks 中最优深度的方法，它通过在不同的网络架构和数据集上应用鲁棒性的增加和停止策略来探索不同深度的组合，并且在一些数据集上表现比人类专家更好。

    Jun, 2019

  • 关于初始大学习率在神经网络训练中正则化作用的解释

    通过大学习率 SGD 与 Annealing 方案推出二层神经网络；结果表明，相比小学习率模型，它更好地推广了不容易泛化的模式，并通过实验演示使用 CIFAR-10 图像说明了该概念。

    Jul, 2019

  • 重拾被遗忘的知识：关于遗忘、过拟合和无需训练的深度神经网络集成

    在深度神经网络中，我们引入一种新的评分方法来衡量过拟合，该方法通过监测验证数据上的模型遗忘率，从而揭示了即使总体上泛化能力得到改善，仍存在数据空间中某些区域泛化能力退化的情况。基于这些观察，我们构建了一种新的集成方法，该方法仅基于单个网络的训练历史，在不增加额外训练时间的情况下显著提高了性能。在现代深度模型上进行的广泛实证评估显示了该方法在多个数据集、神经网络架构和训练方案中的实用性，无论是从头开始训练还是在迁移学习中使用预训练网络。值得注意的是，我们的方法在实现和使用上更加简单，并在 Imagenet 上改进了具有竞争力的网络 1% 的性能。

    Oct, 2023

  • 增加模型容量的微调：培育大脑

    通过对 CNN 进行 fine-tuning，增加模型容量可以更自然的适应目标数据。同时，通过对比发现增加网络单元的增长方法在一些基准数据集中表现出色。

    Jul, 2019

  • 利用方差迁移和学习速率自适应增量式生长神经网络加速训练

    通过考虑参数化和优化策略对训练动态的影响，我们开发了一种高效增长神经网络的方法，该方法动态稳定权重、激活和梯度缩放，提出一种学习率适应机制来解决不平衡训练问题，并取得了与训练大型固定模型相当或更好的准确性和训练速度加快。

    Jun, 2023

  • 大型神经网络浪费容量

    该研究发现，一些较大的神经网络在增加容量以减少欠拟合方面失败，这可能是由于训练误差方面容量的收益急剧减少导致的，指出了优化方法（一阶梯度下降）在这种情况下失败。通过直接解决这个问题，可以通过优化方法或参数化选择来改善需要大容量的大型数据集上的泛化误差。

    Jan, 2013

  • 逐层降低以训练非常深的神经网络

    通过 DropIn 层动态增加神经网络的深度，提供训练过程中的正则化，并在多个实验中证明了其有效性。

    Nov, 2015

  • 预算训练：重新思考资源约束下的深度神经网络训练

    本文引入了一个形式化的训练模式：在有限资源（预算）约束下的训练，分析了在此模式下的学习率调整方法，通过在多个任务数据集上的实验验证了线性衰减方法的优秀表现，并强调了在该模式下的预算收敛现象的重要性。

    May, 2019