Jun, 2021

自然延续学习：成功源于旅程，不仅仅是终点

PDF
TL;DR本文提出了一种称为自然连续学习（NCL）的新方法，该方法统一了权重正则化和投影梯度下降。NCL 使用贝叶斯权重正则化来鼓励在收敛时所有任务的良好表现，并结合使用先验精度的梯度投影，从而防止优化过程中的灾难性遗忘。我们的方法在前馈神经网络和循环神经网络中应用于连续学习问题时，优于标准权重正则化技术和基于投影的方法。最后，训练的网络在学习新任务时演变出特定于任务的动力学，与生物电路的实验结果类似。
continual learningweight regularizationprojected gradient descentfeedforward neural networksrecurrent neural networks
发现论文，激发创造
  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • 一项继续学习调查：在分类任务中应对遗忘

    本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡， 并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

    Sep, 2019

  • 利用自然梯度和斯坦梯度促进贝叶斯持续学习

    本文介绍如何通过使用自然梯度和斯坦梯度，从后验分布和 coresets 两种方式中学习先前任务的知识，帮助贝叶斯连续学习。

    Apr, 2019

  • 超网络的持续学习

    本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

    Jun, 2019

  • 基于正则化的持续学习的优化和泛化：一种损失逼近的视角

    本文提出了一种正则化连续学习的新视角，将其定义为每个任务损失函数的二阶 Taylor 近似，得到了一个可实例化的统一框架，并研究了优化和泛化特性，理论和实验结果表明二阶 Hessian 矩阵的精确近似非常重要。

    Jun, 2020

  • 自动化持续学习

    通用学习系统应在不断变化的环境中以开放式方式不断改进自己。本文提出一种自动连续学习 (ACL) 的方法，通过训练自指神经网络来元学习其上下文中的连续学习算法，以解决传统神经网络学习算法中的 “上下文灾难性遗忘” 问题。ACL 有效地解决了这个问题，并且其学习到的算法表现优于手工设计的算法，在无回放设置下，在 Split-MNIST 基准测试上实现了持续学习多个少样本和标准图像分类数据集的目标。

    Dec, 2023

  • 基于贝叶斯神经网络的不确定性引导连续学习

    本文提出了基于不确定性引导的连续贝叶斯神经网络（UCB）来解决连续学习中的分类问题，从而避免灾难性遗忘。我们在不同的物体分类数据集上评估了 UCB 方法的性能，并报告了优秀的性能表现。

    Jun, 2019

  • 持续学习的学习

    提出了一种灵感来自人脑神经调节过程的元学习算法 —— 一种神经调节的元学习算法（ANML)，可以在不会忘记先前知识的情况下，领会许多顺序有序的任务，通过其良好的选择功能来启用上下文依赖性的选 择性激活，可以在一个规模上进行连续学习，获得业界最优秀的连续学习表现。

    Feb, 2020

  • 强化连续学习

    本论文提出了一种称之为强化连续学习的方法，该方法通过巧妙设计的强化学习策略为每个任务搜索最佳神经架构，不仅能够在防止灾难性遗忘方面有很好的性能，还能够适应新任务。在 MNIST 和 CIFAR-100 数据集的连续分类任务实验中，该方法优于现有的深度网络连续学习替代方案。

    May, 2018

  • 面向任务型对话系统的自然语言生成的持续学习

    本篇论文中，作者针对自然语言生成在任务导向型对话系统中的应用，提出了一种连续学习的方法 ARPER（Adaptively Regularized Prioritized Exemplar Replay），通过回放优先历史样本和基于弹性权重整合的自适应正则化技术，有效地缓解了灾难性遗忘问题。在 MultiWoZ-2.0 数据集上的实验证明，ARPER 明显优于其他方法。

    Oct, 2020