Jun, 2019

基于元学习的任务无关持续学习

PDF
TL;DR本文提出了一个框架，用于解决神经网络在数据分布不稳定时的忘记问题，该框架结合了元学习和持续学习技术的优点，避免了对任务边界的先验知识，并重点关注了如何更快地恢复性能。在监督学习情境下，我们展示了该框架的应用和效果。
neural networkscatastrophic forgettingcontinual learningmeta-learningsupervised learning
发现论文，激发创造
  • 无任务的连续元学习

    本文提出了一种利用可微贝叶斯变点检测方案的元学习方法，称之为 MOCA，使得元学习算法可以应用于不需要对数据进行离散任务分割的情况，我们在非线性元回归基准测试以及两个元图像分类基准测试中演示了这种方法的实用性。

    Dec, 2019

  • 从少量且带有噪声的数据中快速持续学习

    本文研究神经网络存在的遗忘问题以及连续学习的解决方案，通过重放机制和元学习的结合，发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题，并在保证学习效率和准确性方面具有优势。

    Mar, 2021

  • 在线快速适应和知识积累：一种新的连续学习方法

    在研究中，提出了一个更普遍的场景 OSAKA，即代理人必须快速解决新的（分布外）任务，并快速回忆起以前的任务。作者提出了 Continual-MAML 作为强有力的基准线，并在实验中证明，它比其他方法更适合新情况。

    Mar, 2020

  • 学习贝叶斯原理的持续学习

    在当前深度学习时代，为了在训练神经网络时使用随机梯度下降处理非平稳流数据时减轻遗忘现象，我们采用元学习范式来结合神经网络的强表示能力与简单统计模型对遗忘现象的抵抗能力，在我们的新颖元持续学习框架中，持续学习仅在统计模型中进行，而神经网络在原始数据和统计模型之间进行元学习，由于神经网络在持续学习过程中保持不变，它们免受遗忘现象的影响。该方法不仅实现了显著提高的性能，而且具有出色的可伸缩性，由于我们的方法与领域和模型无关，因此可以应用于各种问题，并与现有模型架构轻松集成。

    May, 2024

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 当元学习遇上在线和持续学习：一项综述

    通过提供一份综合调查报告，有组织地使用一致的术语和形式描述，本文旨在促进这个有前景的研究领域的进一步发展。

    Nov, 2023

  • 终身学习中的持续评估：发现稳定性差距

    本论文提出一个连续的学习框架，旨在解决神经网络训练过程中遗忘的问题，并定义了一系列新的指标来实现对学习机的实时评估，研究表明既有重放机制又有正则化机制的在线学习方法都存在稳定性差距的问题。

    May, 2022

  • 持续学习的学习

    提出了一种灵感来自人脑神经调节过程的元学习算法 —— 一种神经调节的元学习算法（ANML)，可以在不会忘记先前知识的情况下，领会许多顺序有序的任务，通过其良好的选择功能来启用上下文依赖性的选 择性激活，可以在一个规模上进行连续学习，获得业界最优秀的连续学习表现。

    Feb, 2020

  • 从过去学习：基于贝叶斯图建模的持续元学习

    提出了一种新颖的连续元学习方法，使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习，在图形上保留任务内部和任务之间的相关性，利用 Amortized inference networks 解决了图形初始化的拓扑不确定性，提高了 minImageNet 5-way 1-shot 分类任务的分类性能。

    Nov, 2019