Nov, 2018

面向终身学习训练循环神经网络

PDF
TL;DR本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。
parametric lifelong learning systemcatastrophic forgettingcapacity saturationrecurrent neural networksgradient episodic memory
发现论文，激发创造
  • 神经网络中的灾难性遗忘测量

    本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

    Aug, 2017

  • 减缓长短期记忆网络的灾难性遗忘

    本文研究在序列数据上的持续学习问题，重点讨论了 LSTM 网络的遗忘和多任务学习问题，并提出了两种有效的解决方案，证明了这种方法比现有的权重正则化方法更为简单、高效，可应用于计算机系统优化和自然语言处理等领域。

    May, 2023

  • 神经网络中的灾难性遗忘问题

    研究了神经网络模型中遗忘问题的解决办法并提出了一种基于学习速率调整方法的连续学习模型，实现了在多个任务上获取并保留专业知识的能力。

    Dec, 2016

  • 学会成长：应对灾难性遗忘的连续结构学习框架

    本文提出了一个用于处理深度神经网络中的灾难性遗忘问题的概念简单、通用且有效的框架，通过优化神经结构和参数学习等两个组件，不仅可以直观有意义地演化神经结构，而且在实验证明了该方法具有很强的缓解灾难性遗忘问题的能力，此方法在连续学习的设置下，优于 MNIST、CIFAR100 和 Visual Domain Decathlon 数据集上的所有基线。

    Mar, 2019

  • 基于统计力学的教师 - 学生网络连续学习中的灾难性遗忘分析

    本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题，发现输入分布相似性小和目标函数的输入输出关系相似性大时，可以有效避免 “灾难性遗忘”，研究结果还揭示了一种特征现象称为超调现象。

    May, 2021

  • 连续学习中灾难性遗忘和记忆的理解与最优相关映射

    本文介绍了一种基于相关性映射网络 (RMNs) 的新方法，来解决神经网络模型中的 “灾难性遗忘” 问题，该方法受到最优重叠假设的启发，并能够在不违反理想的连续学习系统约束的情况下，显着超越数据重放方法，成为最优连续学习数据集中的主流方法；同时，RMNs 还具备检测新任务数据的无监督学习能力。

    Feb, 2021

  • 基于情节化记忆的终身学习改进方案

    本文从优化的角度提供了基于情节记忆方法的两种改进方案 MEGA-I 和 MEGA-II，这两个方案通过将当前梯度与在情节记忆上计算的梯度相结合，调节旧任务和新任务之间的平衡，并通过新的损失平衡更新规则，极大地提高了性能，在四个常用的终身学习基准测试中，将误差降低 18％。

    Sep, 2019

  • 持续学习中参数隔离的保证

    深度学习中的灾难性遗忘及其关联算法的几何性质研究和保证

    Oct, 2023

  • 增量深度神经网络中灾难性遗忘的方法学研究

    通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

    May, 2024

  • 预训练在终身学习中的作用的实证调查

    通过调查现有的方法及其在预训练模型上的表现，我们观察到 Generic Pre-training 方法隐含地减轻了多任务学习中遗忘现象的影响，因为预训练权重看起来通过导致更宽的极小值来缓解遗忘现象，基于这个发现，我们建议联合当前任务的损失和损失基底锐度的优化方法，以在顺序微调期间显式地鼓励更宽的基底，在多种设置中实现与最新技术的性能相当的顺序连续学习，而无需保留随任务数缩放的内存。

    Dec, 2021