主动式长期记忆网络

Jun, 2016

Active Long Term Memory Networks

Tommaso Furlanello, Jiaping Zhao, Andrew M. Saxe, Laurent Itti, Bosco S. Tjan

TL;DR介绍了 Active Long Term Memory Networks (A-LTM) 模型，该模型能够在序贯多任务深度学习过程中保留以前学习的知识，同时获得新的知识，利用 distillation loss 来主动维护以前学习的信息，并赋予隐藏层向新的多任务目标优化的自由，结果表明 A-LTM 策略可以维持高精度的视角识别，适应复杂的知识领域。

Abstract

continual learning in artificial neural networks suffers from interference and forgetting when different tasks are learned sequentially. This paper introduces the active long term memory networks (A-LTM), a model

continual learning active long term memory networks distillation loss catastrophic inference domain adaptation

发现论文，激发创造

生命周期学习中基于共同表示空间的任务感知信息路由

本研究提出了 TAMiL 方法，应用任务注意模块和自动编码器捕捉共同表示空间中的任务特定信息，并在全局工作区中保留任务相关信息以缓解灾难性遗忘现象。实验结果表明，该方法优于现有基于重新玩彩和动态稀疏方法的连续学习方法。

Feb, 2023

扩展语言模型的记忆

本文介绍了长期记忆网络 (LTM) 以解决自然语言理解模型在处理长的序列文本时出现的问题。通过在语言建模任务上进行测试，我们发现 LTM 能够学习到无限长的序列信息，并与其他需要长时间记忆的语言模型进行比较。

May, 2023

一项继续学习调查：在分类任务中应对遗忘

本文研究了基于任务增量分类的持续学习方法，提出了一种新的框架来确定持续学习者的稳定性与可塑性的权衡，并通过三个基准测试以及综合实验比较了 11 种持续学习方法和 4 种基线的方法的强弱和影响。

Sep, 2019

持续学习的学习

提出了一种灵感来自人脑神经调节过程的元学习算法 —— 一种神经调节的元学习算法（ANML)，可以在不会忘记先前知识的情况下，领会许多顺序有序的任务，通过其良好的选择功能来启用上下文依赖性的选择性激活，可以在一个规模上进行连续学习，获得业界最优秀的连续学习表现。

Feb, 2020

深度生成式双重记忆网络用于持续学习

本研究提出了一种双重记忆架构模拟人类大脑的海马体和新皮层系统，通过经验的生成重放的记忆巩固，避免神经网络在顺序任务中的灾难性遗忘现象，进而实现连续学习并展示出哺乳类记忆的很多特征。

Oct, 2017

CAMELoT：针对不需要训练的集成联想存储的大型语言模型

通过引入关联记忆模块，在不需要重新训练的情况下，使得任何预训练（固定）基于注意力的大型语言模型能够处理任意长的输入序列，从而在长文本建模中实现了显著的困惑度降低。

Feb, 2024

Thalamus: 一种脑启发的算法，用于生物合理的持续学习和分离表示

在公开环境中，灵活学习和记忆是一个不断变化的挑战，受大脑丘脑皮质回路的启发，本文提出了一种使用推理时优化的简单算法，通过动态生成当前任务的内部表示，并使代理程序将时间经验流解析为离散事件并组织学习。该算法通过潜在更新将知识组织为具有灵活性的结构，并具有控制它们的认知接口。

May, 2022

双存储循环自组织的时空表示的终身学习

本文提出了一种双存储自组织架构用于实现终身学习，其中包含具有学习物体实例和类别的互补任务的两个增长式重复神经网络；通过在连续感官经历中扩展它们，这两个增长网络都能够提取出对未知数据更强的特征。

May, 2018

减缓长短期记忆网络的灾难性遗忘

本文研究在序列数据上的持续学习问题，重点讨论了 LSTM 网络的遗忘和多任务学习问题，并提出了两种有效的解决方案，证明了这种方法比现有的权重正则化方法更为简单、高效，可应用于计算机系统优化和自然语言处理等领域。

May, 2023

超网络的持续学习

本文提出了一种基于任务条件化超网络的新方法，使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化，并在标准连续学习基准测试上达到了最先进的性能，同时揭示了该方法在迁移学习上的应用前景。

Jun, 2019