利用部分网络共享进行深度卷积神经网络的增量学习

Dec, 2017

利用部分网络共享进行深度卷积神经网络的增量学习

Incremental Learning in Deep Convolutional Neural Networks Using Partial Network Sharing

Syed Shakib Sarwar, Aayush Ankit, Kaushik Roy

TL;DR本研究提出了一种高效的深度卷积神经网络训练方法，基于增量学习的技术思想，允许网络在学习新任务时共享以前学习过的卷积层，同时不会丢失以前学习过的任务，通过克隆 - 分支技术，每次逐一地学习新任务，达到节省时间、能源和存储等复杂度的目的。

Abstract

Deep convolutional neural network (DCNN) based supervised learning is a widely practiced approach for large-scale image classification. However, retraining these large networks to accommodate new, previously unseen data demands high computational time and energy requirements. Also, pre

deep learning incremental learning transfer learning neural networks image classification

发现论文，激发创造

深度卷积神经网络的增量式训练

提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在 CIFAR-10 上报告了 ResNet 和 VGGNet 的训练结果。

Mar, 2018

Tree-CNN: 一种层次化的深度卷积神经网络用于增量学习

本研究提出一种自适应分层网络结构，由 DCNN 组成，可以随着新数据的出现而不断增长和学习。该模型通过组织渐增的可用数据成特征驱动的超类，实现了分类能力的自我增长，并在 CIFAR-10 和 CIFAR-100 数据集上实现了较优的准确率，从而显著减少了训练时间。

Feb, 2018

通过深度模型巩固实现类增量学习

本文提出了一个名为 Deep Model Consolidation（DMC）的类增量学习范式，它通过利用公共可用的无标签辅助数据，将训练数据集中的已知类和未知类分别训练成不同的模型，然后通过新型的双重蒸馏训练目标结合两个模型，从而解决了增量学习中的 “灾难性遗忘” 问题，并在单头 IL 设置中，相比于现有技术，显著提升了图像分类和物体检测的性能。

Mar, 2019

双卷积神经网络

本文提出了一种新的卷积神经网络模型，称为双卷积神经网络，该模型通过共享权重参数进行优化，在图像分类领域有着显著的性能提升。在 CIFAR-10，CIFAR-100 和 ImageNet 等图像分类基准测试中，该模型的性能均显著优于其他竞争模型。同时，本文还说明了双卷积神经网络在多方面性能均有体现，既可以构建更准确的模型，又可以以牺牲一定准确性的代价来减少模型的内存占用。

Oct, 2016

自主预训练与原型学习的逐类增量学习

通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

Aug, 2023

端到端渐进式学习

一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

Jul, 2018

自适应增长：实时卷积神经网络层扩展

基于数据输入，本研究提出了一种新算法，允许卷积神经网络的卷积层在动态环境下进行演化，并无缝地整合到现有的 DNNs 中。通过引入核函数，迭代性地评估图像特征的识别能力，本方法在多个数据集上展示了优于监督方法的表现，并在迁移学习场景中展示了增强的适应性，填补了深度学习中对于动态环境更灵活高效的 DNNs 的空白。

Sep, 2023

参数高效的增量式学习的互补学习子网络

本文提出了一种新的无需回放的类增量学习方法，该方法通过学习两个互补学习子网络之间的协同作用，包括联合优化可塑性 CNN 特征提取器和解析前馈分类器来实现。该方法在训练期间不需要存储过去的数据，可以掌握新的课程，同时保持对以前学习过的课程的识别和知识保留。

Jun, 2023

动态层次模仿优化一致性目标

介绍了一种名为动态分层模仿的泛化能力增强的卷积神经网络训练方法，通过设计与主干网络分支相连的支路，实现路径多样性和更多样化的特征表示，并应用概率预测匹配损失优化公式促进不同分支的多级交互，提高网络训练质量和特征表示能力。

Mar, 2020

无灾难遗忘的目标检测的增量学习

通过使用一种新的损失函数，这篇研究提出了一种解决卷积神经网络增量学习中 “灾难性遗忘” 的问题的方法，可以在没有原始训练数据或注释的情况下适应新类别，并在 PASCAL VOC 2007 和 COCO 数据集上实现了物体检测。

Aug, 2017