Jun, 2019

终身语言学习中的情景记忆

PDF
TL;DR提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认为经验记忆组件是构建通用语言智能的重要组成部分。
发现论文，激发创造
  • 利用稀疏经验回放进行元学习，实现终身语言学习

    本文提出了一种基于元学习和稀疏经验回放的方法来实现连续学习，以避免深度学习模型在顺序学习任务时遗忘先前的知识。该方法在真实场景下实现了连续的文本分类和关系提取任务，并展示了其低计算和空间复杂度。

    Sep, 2020

  • 受限内存下高效元生存学习

    本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

    Oct, 2020

  • 关于连续学习中微小情节记忆的研究

    该研究实证分析了在连续学习过程中，引入极小的叙事性记忆在任务之间转移知识的有效性，并发现相较于特定的连续学习方法，该方法能利用极小的记忆显著提升泛化能力，对小样本问题有一定的启示。

    Feb, 2019

  • 终身语言学习中选择性记忆群体有多大相关性？

    本文探讨了稀疏经验回放对于对抗灾难性遗忘的长期语言学习的作用，特别是对于文本分类和问答任务中的样本采样策略对于模型性能的影响。作者发现，在随机存储整个数据流中的均匀数量的样本的方法下，模型表现高，特别适用低存储容量的情况，这与计算机视觉研究一致。

    Oct, 2022

  • 持续模型学习的情节记忆

    本研究探讨在具有有限内存容量的情境下，如何运用基于分层贝叶斯推断的模型选择，以及利用存储在记忆库中的数据解决模型选择中的基本问题。

    Dec, 2017

  • 双存储循环自组织的时空表示的终身学习

    本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

    May, 2018

  • 基于情节化记忆的终身学习改进方案

    本文从优化的角度提供了基于情节记忆方法的两种改进方案 MEGA-I 和 MEGA-II，这两个方案通过将当前梯度与在情节记忆上计算的梯度相结合，调节旧任务和新任务之间的平衡，并通过新的损失平衡更新规则，极大地提高了性能，在四个常用的终身学习基准测试中，将误差降低 18％。

    Sep, 2019

  • 面向持续终身学习的可扩展回忆

    本文提出一种新的可扩展体系结构和训练算法解决 Deep Learning 在 lifelong learning 场景中面临的挑战，尤其是在训练时间和内存限制下存储经验的问题，并在性能评估中取得了显著提升。

    Nov, 2017

  • 增量提示：面向终身事件检测的情节记忆提示

    本文介绍了一种利用 Episodic Memory Prompts (EMP) 方法保存任务特有的知识以及在 Lifelong Event Detection 和 Lifelong Learning 中有效传递旧知识的算法，并通过实验结果证明了方法的有效性。

    Apr, 2022

  • 不断增长的长期情景与语义记忆

    本文介绍了一种利用快速但不可微的内容可寻址内存编码长序列经验和跨多个领域的语义知识的终身学习系统，从而在不受限制的领域上不断学习并存储知识，打开了探索迁移学习和利用过去学习经验到新领域的机会。

    Oct, 2016