Aug, 2017

深度增量提升

HTML
PDF
TL;DR本文介绍一种新技术Deep Incremental Boosting，它是从AdaBoost发展而来，并专门适用于Deep Learning方法，它可以缩短训练时间并提高泛化能力。作者借鉴了Transfer of Learning方法，以减少每个增量Ensemble成员的启动时间，我们展示了一系列在一些常见Deep Learning数据集上的实验，印证了一些初步结果，并讨论了Deep Incremental Boosting对传统Ensemble方法在Deep Learning方面带来的潜在改进。
发现论文，激发创造
  • 深度适应实现增量学习

    提出了一种名为Deep Adaptation Networks的方法，通过在现有神经网络中添加线性组合的新滤波器来实现学习新技能，而不影响已经学习的性能，以及在各种图像分类任务中表现出良好的效果。

    May, 2017

  • 深度卷积神经网络的增量式训练

    提出了一种增量训练方法，将原始网络分成子网络，并在训练过程中逐步将其合并到运行的网络中。此方法通过引入前瞻初始化，使网络动态生长更平滑，并可用于仅使用全局参数分数的情况下识别原始最先进网络的较小分区，以实现更快的训练。在CIFAR-10上报告了ResNet和VGGNet的训练结果。

    Mar, 2018

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在CIFAR-100和ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • CatBoost：支持分类特征的梯度提升

    本文介绍了一种新的机器学习技术——CatBoost，它可以成功地处理分类特征，成为了一个开源梯度提升库， 在一系列的数据集上表现出了优秀的性能，并且使用GPU实现了学习算法和CPU实现了评估算法，比其他相似规模的梯度提升库更快。

    Oct, 2018

  • 一种实用的增量训练深度CTR模型的方法

    介绍了一种针对推荐系统中的深度CTR模型训练的增量学习方法，其通过数据、特征和模型三个模块解耦来增量更新模型。通过在公共基准数据集和私有数据集上进行实验证明了该方法高效可行，达到与传统批量模式相媲美的性能。

    Sep, 2020

  • 基于Bandit Sampling的Adam深度学习方法

    本文提出了一种名为Adambs的通用优化方法，该方法可以适应模型收敛过程中不同训练样本的重要性，从而加速收敛，实验结果表明Adambs在各种模型和数据集上都可以快速收敛。

    Oct, 2020

  • 类增量学习：基于图像分类的调查和性能评估

    本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在13种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

    Oct, 2020

  • FOSTER: 特征增强和压缩用于类增量学习

    提出了一种新的双阶段学习范式 FOSTER，通过动态模块扩展和有效的蒸馏策略来解决深度神经网络遗忘问题，实现自适应学习新类别，实验证明该方法在 CIFAR-100 和 ImageNet-100/1000 数据集下达到了最先进的性能。

    Apr, 2022

  • AdaBoost综述：和解视角以更好地理解其动态

    通过整合多个弱学习器以构建强学习器，本论文综合了多个视角对AdaBoost算法的动态性进行探究，并将它们以相同的形式统一起来，旨在帮助非专业读者更好地理解AdaBoost的动态和各种视角之间的等价性和关联性。

    Oct, 2023

  • 自适应增强和动态权重调整

    Adaptive Boosting with Dynamic Weight Adjustment improves efficiency and accuracy in ensemble learning by dynamically updating instance weights based on prediction error, resulting in a more flexible and effective approach for boosting in challenging classification tasks.

    Jun, 2024