Jul, 2022

神经网络中应用参数重用克服灾难性遗忘

PDF
TL;DR本文提出了一种名为 AdaptCL 的自适应学习方法，该方法通过参数再利用和增长来克服灾难性遗忘，并允许积极的后向传递，同时不需要数据集标签。
发现论文，激发创造
  • 持续学习中参数隔离的保证

    深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

    Oct, 2023

  • 神经网络中的灾难性遗忘测量

    本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

    Aug, 2017

  • 深度神经网络的少遗忘学习

    研究神经网络中的遗忘问题，提出了一种不同于以往的方法来解决该问题，且不会使用源域的信息，此方法在减少遗忘源域信息方面非常有效，同时实验表明使用该方法可以提高网络在识别率等方面的性能。

    Jul, 2016

  • 过度参数化情况下随机正交转换任务的灾难性遗忘分析

    该研究从理论上和实验证明，过参数化可以在一定程度上改善神经网络模型在连续学习中遗忘前任务的性能表现。

    Jun, 2022

  • 连续学习是否平等遗忘所有参数？

    本文针对持续学习过程中的分布漂移（如任务或领域漂移）导致神经网络对原有任务的忘记问题，研究了神经网络中哪些模块更容易被遗忘，提出了遗忘优先微调（FPF）和基于周期触发的 $k$-FPF 两种方法，取得了较好的效果并显著降低了计算成本。实验表明，FPF 方法在几个增量 CL 基准测试中均能显著提高方法效果，$k$-FPF 进一步提高了效率而不降低准确性。

    Apr, 2023

  • 基于记忆的参数适应

    通过存储案例，使用基于上下文的查找直接修改神经网络的权重，以 Memory-based Parameter Adaptation 为核心的方法，可以在监督任务中有效地改善深度神经网络的性能和训练速度。

    Feb, 2018

  • 面向终身学习训练循环神经网络

    本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

    Nov, 2018

  • 克服图神经网络中的灾难性遗忘

    该论文提出一种基于拓扑感知的权重保留 (TWP) 模块的方案，该模块针对图神经网络 (GNNs) 的持续学习问题，通过探索输入图的局部结构，稳定在拓扑聚合中起关键作用的参数，防止网络遗忘先前学习的知识，并证明该模块在多个数据集上的性能优于现有技术。

    Dec, 2020

  • 机器学习应用中的谈判表示以防止遗忘

    机器学习中的灾难性遗忘是一个重要的挑战，本文提出了一种新的方法来防止机器学习应用中的灾难性遗忘，并展示了该方法在连续学习设置中提高神经网络性能的潜力。

    Nov, 2023

  • 连续学习中灾难性遗忘和记忆的理解与最优相关映射

    本文介绍了一种基于相关性映射网络 (RMNs) 的新方法，来解决神经网络模型中的 “灾难性遗忘” 问题，该方法受到最优重叠假设的启发，并能够在不违反理想的连续学习系统约束的情况下，显着超越数据重放方法，成为最优连续学习数据集中的主流方法；同时，RMNs 还具备检测新任务数据的无监督学习能力。

    Feb, 2021