May, 2019

多个视觉任务的迭代掌握：网络自然地学习学习和遗忘遗忘

PDF
TL;DR我们研究了卷积神经网络在连续学习环境中的行为，通常是按顺序引入视觉分类任务并要求网络在掌握以前学习的任务的同时掌握新任务。我们发现，在涉及十个相关视觉任务的模拟中，前向促进随着 n 的增加而增加，而向后干涉则随 n 的增加而减少。这可以通过更广泛地接触某一领域来实现元学习的研究目标，并通过减少灾难性遗忘的研究来实现。
continual-learningconvolutional neural netvisual classification tasksforward facilitationbackward interference
发现论文，激发创造
  • 元学习先验在神经网络中减缓灾难性遗忘

    本文提出了一种基于元学习的训练方式，通过序贯地训练神经网络来缓解深度学习中存在的灾难性遗忘问题。在此基础上，提出了 SeqFOMAML 算法，并在 Omniglot 和 MiniImageNet 上的分类任务数据集上进行了验证。

    Sep, 2019

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 通过域随机化和元学习持续调整视觉表示

    本文提出了一种基于域随机化和元学习的方法，通过对视觉域进行重构以及加入正则项的方式来提高模型的鲁棒性，从而减少在不同领域中的遗忘现象。

    Dec, 2020

  • 持续学习的学习

    提出了一种灵感来自人脑神经调节过程的元学习算法 —— 一种神经调节的元学习算法（ANML)，可以在不会忘记先前知识的情况下，领会许多顺序有序的任务，通过其良好的选择功能来启用上下文依赖性的选 择性激活，可以在一个规模上进行连续学习，获得业界最优秀的连续学习表现。

    Feb, 2020

  • 从少量且带有噪声的数据中快速持续学习

    本文研究神经网络存在的遗忘问题以及连续学习的解决方案，通过重放机制和元学习的结合，发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题，并在保证学习效率和准确性方面具有优势。

    Mar, 2021

  • 前瞻性选择性可塑性实现视觉任务的持续学习

    通过观察对神经网络输出的对比损失的冗余引发能力，我们的方法利用新任务的前几个样本来识别和保留对神经网络传递能力最有贡献的参数，从而使网络的其余部分能够学习新特征，并在诸如 CIFAR10 和 TinyImagenet 等基准计算机视觉数据集上证明了在任务增量、类别增量和领域增量持续学习场景中的最先进性能。

    Nov, 2023

  • 基于元学习的任务无关持续学习

    本文提出了一个框架，用于解决神经网络在数据分布不稳定时的忘记问题，该框架结合了元学习和持续学习技术的优点，避免了对任务边界的先验知识，并重点关注了如何更快地恢复性能。在监督学习情境下，我们展示了该框架的应用和效果。

    Jun, 2019

  • 混合类似和不相似任务的连续学习

    本文提出了一种针对混合相似和不相似任务序列的学习技术，旨在解决忘却问题并实现信息的前向和后向传输，其中针对不相似任务的算法处理忘却问题，针对相似任务，算法着重于选择性地将从某些相似前一任务学习到的知识传递到新任务中，实验结果表明该模型的有效性。

    Dec, 2021

  • 在线快速适应和知识积累：一种新的连续学习方法

    在研究中，提出了一个更普遍的场景 OSAKA，即代理人必须快速解决新的（分布外）任务，并快速回忆起以前的任务。作者提出了 Continual-MAML 作为强有力的基准线，并在实验中证明，它比其他方法更适合新情况。

    Mar, 2020

  • 跨模态检索中的持续学习

    本文提出了一个结合多模态学习嵌入与持续学习的框架，研究了新任务导致了的困扰与不同因素造成的遗忘，发现索引阶段对任务效果有显著影响，并提出缓解遗忘的工具。在两个图像 - 文本检索数据集中证明了我们的方法的显著提高。

    Apr, 2021