AAAIMar, 2024

基于回忆导向的生成对抗元模型的连续学习

PDF
TL;DR我们提出了回忆导向的持续学习框架，平衡稳定性和可塑性的目标，通过分离稳定性和可塑性的机制，在两层架构中，推理网络有效地获取新知识，生成网络在需要时回忆过去的知识，并通过引入生成对抗元模型（GAMM），根据不同表示的知识复杂性来增量学习任务特定参数，通过实验证明，我们的框架不仅能有效地学习新知识而且在任务感知和无任务感知的学习场景中实现了先前知识的高稳定性。
stability-plasticity dilemmacontinual learningrecall-oriented continual learningtwo-level architecturegenerative adversarial meta-model (gamm)
发现论文，激发创造
  • 学习记忆：一种突触可塑性驱动的连续学习框架

    介绍了一种基于神经突触可塑性的动态生成记忆模型，该模型在连续学习中实时调整神经网络架构，应用于视觉分类任务中，旨在解决老知识保留和模型容量扩展的问题。

    Apr, 2019

  • 网络连续学习中稳定性与可塑性困境的新见解

    本研究提出了一种名为 MuFAN 的在线连续学习框架，利用不同级别的预训练网络中提取的更丰富的上下文编码，并引入了一种新颖的基于结构的蒸馏损失和稳定性 - 可塑性标准化模块，用于同时保持高可塑性和稳定性。MuFAN 在多个数据集上优于其他现有的连续学习方法。

    Feb, 2023

  • 通过网络分割和合并与梦幻元加权模型融合的持续学习

    我们提出了一种名为 Split2MetaFusion 的连续学习方法，通过采用两阶段策略（分割和元权重融合），同时实现了网络稳定性和可塑性的更好权衡。在实验结果和分析中，证明了该方法在保持网络稳定性和可塑性方面的优越性。

    Dec, 2023

  • 通过高级零空间在不间断学习中平衡稳定性与可塑性

    本文提出了一种新的连续学习方法 Advanced Null Space (AdNS)，通过使用低秩逼近获取新的零空间并将梯度投影到零空间中，从而实现平衡稳定性和可塑性，解决了连续学习中的稳定性 - 可塑性困境，并提出了一种简单而有效的方法 intra-task distillation 来提高当前任务的性能。实验结果表明，与最先进的连续学习方法相比，该方法可以实现更好的性能。

    Jul, 2022

  • 通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

    通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

    Mar, 2023

  • 基于元学习的任务无关持续学习

    本文提出了一个框架，用于解决神经网络在数据分布不稳定时的忘记问题，该框架结合了元学习和持续学习技术的优点，避免了对任务边界的先验知识，并重点关注了如何更快地恢复性能。在监督学习情境下，我们展示了该框架的应用和效果。

    Jun, 2019

  • 深度生成式双重记忆网络用于持续学习

    本研究提出了一种双重记忆架构模拟人类大脑的海马体和新皮层系统，通过经验的生成重放的记忆巩固，避免神经网络在顺序任务中的灾难性遗忘现象，进而实现连续学习并展示出哺乳类记忆的很多特征。

    Oct, 2017

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 封闭循环记忆 GAN 用于连续学习

    本文提出了一种基于累计的闭环记忆重放生成对抗网络的方案，并引入了外部正则化进行最大样本多样性的小型内存单元。实验结果表明，在使用动态内存单元的条件下，该方案在处理硬任务学习方面具有很高的性能增长。

    Nov, 2018

  • 基于熵的稳定可塑性方法用于终身学习

    提出了一种基于熵的稳定性可塑性方法来解决神经网络中的稳定性 - 可塑性困境，该方法在自然语言和图像领域的实验表明其可以通过减少干扰来利用先前知识，并在某些情况下可以冻结层以加速训练。

    Apr, 2022