Mar, 2018

深度卷积神经网络的增量式训练

PDF
TL;DR提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。
发现论文，激发创造
  • 利用部分网络共享进行深度卷积神经网络的增量学习

    本研究提出了一种高效的深度卷积神经网络训练方法，基于增量学习的技术思想，允许网络在学习新任务时共享以前学习过的卷积层，同时不会丢失以前学习过的任务，通过克隆 - 分支技术，每次逐一地学习新任务，达到节省时间、能源和存储等复杂度的目的。

    Dec, 2017

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 卷积神经网络的数据相关初始化

    该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

    Nov, 2015

  • 无灾难遗忘的目标检测的增量学习

    通过使用一种新的损失函数，这篇研究提出了一种解决卷积神经网络增量学习中 “灾难性遗忘” 的问题的方法，可以在没有原始训练数据或注释的情况下适应新类别，并在 PASCAL VOC 2007 和 COCO 数据集上实现了物体检测。

    Aug, 2017

  • 加速用于分类和检测的非常深的卷积网络

    本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

    May, 2015

  • Tree-CNN: 一种层次化的深度卷积神经网络用于增量学习

    本研究提出一种自适应分层网络结构，由 DCNN 组成，可以随着新数据的出现而不断增长和学习。该模型通过组织渐增的可用数据成特征驱动的超类，实现了分类能力的自我增长，并在 CIFAR-10 和 CIFAR-100 数据集上实现了较优的准确率，从而显著减少了训练时间。

    Feb, 2018

  • 卷积网络的大批量训练

    本文介绍了一种新的大批量训练算法：LARS，该算法采用分层自适应速率缩放，可使得尽管使用大批量训练，Alexnet 和 Resnet-50 的准确性不会降低。

    Aug, 2017

  • 基于深度卷积神经网络的图像分类的一些改进

    通过给训练数据增加更多的图像变换、给测试时产生更多的预测和使用应用于更高分辨率图像的补充模型等多种技术，我们改进了目前基于深度卷积神经网络的图像分类流程，并在 Imagenet 大规模视觉识别挑战赛 2013 中获得了前五名，我们的系统分类错误率为 13.55％，相对于上一年的获胜者，出现了超过 20％的相对提高。

    Dec, 2013

  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023

  • 逐层降低以训练非常深的神经网络

    通过 DropIn 层动态增加神经网络的深度，提供训练过程中的正则化，并在多个实验中证明了其有效性。

    Nov, 2015