Oct, 2021

通过寻找平坦极小值克服渐进式少样本学习中的灾难性遗忘

PDF
TL;DR本研究考虑了增量式少样本学习，解决了现有方法中存在的遗忘问题，并提出在原始阶段搜索基础任务的优化解来维持模型的良好性能。实验结果表明，这一方法优于现有状态 - of-the-art 方法，接近近似的最优结果。
incremental few-shot learningcatastrophic forgettingdata scarcityimbalancebase training objective function
发现论文，激发创造
  • 应对少样本问题中的灾难性遗忘

    引入一种贝叶斯在线元学习框架来解决少样本分类问题中的灾难性遗忘问题，并通过实验验证与各种基线方法相比可以有效地实现该目标。

    Apr, 2020

  • 明确学习和校准进行增量化通用少样本学习而无遗忘

    本论文提出了一个三阶段框架来解决 Few-shot 学习中的挑战，包括学习新类别，避免基类的灾难性遗忘以及横跨新基类的分类器校准，通过在图像和视频少样本分类的四个基准数据集上的实验证明该框架达到了最先进的结果。

    Aug, 2021

  • 元学习减轻少样本口语词分类的灾难性遗忘问题

    本文研究了在用户定义的关键词系统中增量引入新词类的少样本语音单词分类问题，并提出了通过模型无关元学习 (MAML) 的扩展来解决灾难性遗忘的问题。在 Google Commands 和 FACC 上进行的实验表明，我们的方法在快速学习少量词汇的分类问题上优于 MAML 的另一种扩展 OML。

    May, 2023

  • 在线情境下的增量学习

    该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

    Mar, 2020

  • 班级增量学习的要素

    研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

    Feb, 2021

  • 深度学习中的灾难性遗忘：全面分类

    近期深度学习模型在图像分类或生成等任务中取得了显著的性能，并经常超越人类的准确性。然而，它们在没有访问先前数据的情况下，学习新任务和更新知识可能会遇到困难，这导致了被称为灾难性遗忘的显著准确性损失。本文综述了关于使用梯度下降作为学习算法的现代深度学习模型中解决灾难性遗忘的最近研究，尽管已提出了多种解决方案，但尚未建立确定性的解决方案或关于评估灾难性遗忘的共识。本文对最近的解决方案进行了全面的评述，提出了一个分类法以组织这些解决方案，并明确了这一领域的研究空白。

    Dec, 2023

  • 关于细粒度图像检索的增量学习探究

    本研究针对细粒度图像检索在增量学习场景中的问题，提出一种基于增量学习和最大均值差异的方法，以减轻遗忘问题导致的检索性能降级。通过将原网络的分类器提供的软 “标签” 传输到训练自适应网络的过程中，达到保留原分类能力的目的，并通过模型正则化来最小化原网络与自适应网络之间的新类特征的偏差。实验结果表明，该方法在保持原类分类性能的同时，对新类有较高的性能表现。

    Oct, 2020

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 视觉任务的类增量学习算法综合研究

    该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

    Nov, 2020

  • 基于扁平到宽阔方法的小样本持续学习

    本文提出了一种少样本连续学习方法 FLower，采用扁平到宽学习过程来解决基于少样本时遗忘问题，数据稀缺问题通过一种球生成器概念的数据增强方法来克服。经过数值实验，证明了 FLower 相比先前的方法在基础任务上具有显着的性能提高。

    Jun, 2023