本文提出了一个框架,用于解决神经网络在数据分布不稳定时的忘记问题,该框架结合了元学习和持续学习技术的优点,避免了对任务边界的先验知识,并重点关注了如何更快地恢复性能。在监督学习情境下,我们展示了该框架的应用和效果。
Jun, 2019
在研究中,提出了一个更普遍的场景 OSAKA,即代理人必须快速解决新的(分布外)任务,并快速回忆起以前的任务。作者提出了 Continual-MAML 作为强有力的基准线,并在实验中证明,它比其他方法更适合新情况。
Mar, 2020
通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。
Dec, 2019
通过提供一份综合调查报告,有组织地使用一致的术语和形式描述,本文旨在促进这个有前景的研究领域的进一步发展。
Nov, 2023
提出了一种新颖的连续元学习方法,使用贝叶斯图神经网络 (CML-BGNN) 将元学习数学公式化为一系列任务的连续学习,在图形上保留任务内部和任务之间的相关性,利用 Amortized inference networks 解决了图形初始化的拓扑不确定性,提高了 minImageNet 5-way 1-shot 分类任务的分类性能。
Nov, 2019
该研究提出了一种综合了元学习和在线学习范式的在线元学习模型,运用改进后的 MAML 算法,实现连续终身学习,实验结果表明该算法明显优于传统的在线学习方法。
Feb, 2019
探究如何将连续学习转变成在线学习的系统,可用于自我监督学习和机器人避免冲突,该系统采用 “内存感知神经元” 的方法更新关键性权重。
Dec, 2018
本文提出了 Look-ahead MAML 算法及其在在线连续学习中的应用,通过调整元学习更新中每个参数的学习率实现更灵活、高效的控制灾难性遗忘,并在实际视觉分类任务中取得了优异的性能。
Jul, 2020
本文研究神经网络存在的遗忘问题以及连续学习的解决方案,通过重放机制和元学习的结合,发现引入元学习可以解决传统重放机制在每个任务分配的内存有限时容易导致失效的问题,并在保证学习效率和准确性方面具有优势。
Mar, 2021
本文旨在开发一种方法,从传入的数据流中使用深度神经网络模型进行连续的在线学习,使用随机梯度下降算法来更新模型参数,并使用先验的中餐馆过程的期望最大化算法来开发和维护一种混合模型来处理非平稳任务分布。我们将元学习应用于基于模型的强化学习,以适应预测模型关键控制任务中的连续快速自适应。