NIPSMar, 2017

通过增量矩匹配克服灾难性遗忘

PDF
TL;DR本文提出一种名为增量矩匹配（IMM）的方法，通过权重传递、参数的 L2 - 范数、一种基于旧参数的变量丢弃等转移学习方法来解决神经网络中的灾难性遗忘问题，实现对先前任务和新任务的平衡，实验证明这种方法在各种数据集上均取得了最先进的性能。
发现论文，激发创造
  • 神经网络中的灾难性遗忘测量

    本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

    Aug, 2017

  • 神经机器翻译的平衡训练：超越持续学习的灾难性遗忘

    针对神经网络在从动态数据分布中连续学习多个任务时逐渐忘记以前学习的知识的问题，提出了一种补充在线知识蒸馏（COKD）的解决方法，成功地缓解了不平衡训练问题并在多个机器翻译任务上取得了实质性的改进。

    Mar, 2022

  • 增量深度神经网络中灾难性遗忘的方法学研究

    通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

    May, 2024

  • 班级增量学习的要素

    研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

    Feb, 2021

  • 连续学习中灾难性遗忘和记忆的理解与最优相关映射

    本文介绍了一种基于相关性映射网络 (RMNs) 的新方法，来解决神经网络模型中的 “灾难性遗忘” 问题，该方法受到最优重叠假设的启发，并能够在不违反理想的连续学习系统约束的情况下，显着超越数据重放方法，成为最优连续学习数据集中的主流方法；同时，RMNs 还具备检测新任务数据的无监督学习能力。

    Feb, 2021

  • 机器学习应用中的谈判表示以防止遗忘

    机器学习中的灾难性遗忘是一个重要的挑战，本文提出了一种新的方法来防止机器学习应用中的灾难性遗忘，并展示了该方法在连续学习设置中提高神经网络性能的潜力。

    Nov, 2023

  • 利用任务硬注意力克服灾难性遗忘

    本文提出了一种基于任务的硬注意机制，利用随机梯度下降学习硬注意掩码来保留上一个任务中的信息而不影响当前任务的学习，有效提高神经网络在顺序学习能力上的性能。此方法对不同超参数的选择也具有鲁棒性，并且具有控制学习知识稳定性和紧凑性等特点，在在线学习或网络压缩应用中也是吸引人的。

    Jan, 2018

  • 防止灾难性遗忘的神经网络提醒

    提出 REMIND 方法，用于神经网络的在线学习。该方法以压缩的记忆方式实现了网络的更新，达到了降低过去学习内容遗忘的目的，并在图像分类和视觉问答任务中表现出了优越性。

    Oct, 2019

  • 神经网络中的灾难性遗忘问题

    研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

    Dec, 2016

  • 减缓长短期记忆网络的灾难性遗忘

    本文研究在序列数据上的持续学习问题，重点讨论了 LSTM 网络的遗忘和多任务学习问题，并提出了两种有效的解决方案，证明了这种方法比现有的权重正则化方法更为简单、高效，可应用于计算机系统优化和自然语言处理等领域。

    May, 2023