Aug, 2017

深度增量提升

PDF
TL;DR本文介绍一种新技术 Deep Incremental Boosting，它是从 AdaBoost 发展而来，并专门适用于 Deep Learning 方法，它可以缩短训练时间并提高泛化能力。作者借鉴了 Transfer of Learning 方法，以减少每个增量 Ensemble 成员的启动时间，我们展示了一系列在一些常见 Deep Learning 数据集上的实验，印证了一些初步结果，并讨论了 Deep Incremental Boosting 对传统 Ensemble 方法在 Deep Learning 方面带来的潜在改进。
deep incremental boostingadaboostdeep learningtransfer of learningensemble methods
发现论文，激发创造
  • DeeSIL: 深层 - 浅层增量学习

    介绍了一种名为 DeeSIL 的增量学习算法，它采用深度表示的特征提取器和独立的浅层分类器来增加识别容量，可以应对有限内存和新类别增加的挑战，并在 ImageNet LSVRC 2012 数据集上取得了比现有算法更好的性能。

    Aug, 2018

  • 深度神经网络的贝叶斯增量学习

    本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法，使用贝叶斯方法更新后验概率，与传统方法相比实验表明可以取得更好的效果。

    Feb, 2018

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 增强式生成模型

    本文提出了一种新的无监督 boosting 方法来创建生成模型的集成，进一步允许集成包括区分真实数据和模拟生成数据的判别模型。作者证明了这种方法在一定条件下能将新模型集成进来以提升适合度，并在基准数据集上对密度估计、分类和样本生成的广泛生成模型应用中展示了黑盒 boosting 算法的有效性。

    Feb, 2017

  • 通过深度模型巩固实现类增量学习

    本文提出了一个名为 Deep Model Consolidation（DMC）的类增量学习范式，它通过利用公共可用的无标签辅助数据，将训练数据集中的已知类和未知类分别训练成不同的模型，然后通过新型的双重蒸馏训练目标结合两个模型，从而解决了增量学习中的 “灾难性遗忘” 问题，并在单头 IL 设置中，相比于现有技术，显著提升了图像分类和物体检测的性能。

    Mar, 2019

  • 视觉任务的类增量学习算法综合研究

    该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

    Nov, 2020

  • 深度学习的隐性偏见：渐增学习如何推动泛化

    本文定义了增量学习动力学的概念并证明了在深度为多项式关系和初始化条件正确的情况下，神经网络可以展现出增量学习能力，且通过实验证明在使用深度学习模型中，梯度下降算法有助于寻找简单的模型解。

    Sep, 2019

  • 在线 GentleAdaBoost -- 技术报告

    我们研究了在线版本的 GentleAdaboost，通过在线方式将弱学习器与强学习器相结合。我们提供了一种将批量方法扩展为在线方法的途径，并通过线搜索的应用进行了理论上的证明。最后，我们将我们的在线增强方法与其他在线方法在各种基准数据集上进行了比较。

    Aug, 2023

  • NetBooster：借鉴深度巨人之力，助力微小深度学习

    NetBooster 框架通过扩张 - 收缩策略扩充小型神经网络结构，从而解决 Tiny deep learning 在大规模数据集和下游任务上的欠拟合问题。实验证明 NetBooster 始终优于现有的 Tiny deep learning 解决方案。

    Jun, 2023

  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023