ICLRMar, 2017

学习记忆罕见事件

PDF
TL;DR本文提出了一种基于最近邻算法的大规模生命周期记忆模块，该模块具有端到端的训练能力，适用于深度学习中的任何部分，可在一次学习中持续不断训练，且表现出强大的记忆力和一次学习能力，从而在多个领域实现新的性能提升，包括在 Omniglot 数据集上的一次学习状态下表现出的新状态以及在大规模机器翻译任务中，实现了循环神经网络的文件一次学习。
memory-augmented deep neural networkslife-long learningone-shot learningnearest-neighbor algorithmend-to-end training
发现论文，激发创造
  • 记忆增强神经网络的单次学习

    本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

    May, 2016

  • 受限内存下高效元生存学习

    本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

    Oct, 2020

  • 面向持续终身学习的可扩展回忆

    本文提出一种新的可扩展体系结构和训练算法解决 Deep Learning 在 lifelong learning 场景中面临的挑战，尤其是在训练时间和内存限制下存储经验的问题，并在性能评估中取得了显著提升。

    Nov, 2017

  • 一次性学习的匹配网络

    本研究使用深度神经网络和度量学习的思想，建立了一种学习新概念的框架，从而不需要微调以适应新的类别类型，并在视觉和语言任务中定义了一次性学习问题，实验结果表明，在 Imagenet 数据集上，准确率从 87.6% 提高到 93.2%，在 Omniglot 数据集上，准确率从 88.0% 提高到 93.8%。

    Jun, 2016

  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 面向终身学习训练循环神经网络

    本篇研究论文围绕序列监督学习中的参数化终身学习系统中的主要挑战 —— 灾难性遗忘和容量饱和进行了研究，并提出了一种基于课程的简单明了的评估标准，用于在不断增加难度的任务上对模型进行训练和测试。研究提出了两个网络模型 Gradient Episodic Memory 和 Net2Net，将它们统一起来，并将其应用于递归神经网络，验证了这种方法在终身学习环境中的适用性。

    Nov, 2018

  • 嵌入空间分离与压缩的终身事件检测

    为了解决遗忘和过拟合问题，我们提出了一种基于嵌入空间分离和压缩的新方法。该方法通过迫使新数据的特征分布与先前的嵌入空间分离来减轻先前学习任务的遗忘，并通过内类紧凑性增强机制鼓励记忆数据靠近其原型，从而减轻过拟合。此外，新任务的学习参数通过利用先前学习任务中获得的知识来初始化，以促进前向知识传输。通过大量实验证明，我们的方法可以显著优于先前的最先进方法。

    Apr, 2024

  • 神经网络的持续终生学习：综述

    终身学习对于人类和动物至关重要，然而，在机器学习和神经网络模型中，随着不断获取非静态数据分布的信息，由于 “灾难性遗忘” 或干扰而面临着困难。本论文对于人类生物系统中的终身学习因素进行了总结，并比较了现有神经网络方法的差异。

    Feb, 2018

  • 在线学习长程依赖关系

    本研究通过利用多层网络中的独立递归模块，提出了一种可行的高性能在线学习算法，能够有效地解决递归神经网络中长期信用分配的问题，并通过在合成记忆问题和长距离竞技场基准测试中的表现明确了该算法的有效性，为大脑学习和神经计算提供了新的思路。

    May, 2023

  • 终身语言学习中的情景记忆

    提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认为经验记忆组件是构建通用语言智能的重要组成部分。

    Jun, 2019