长序列记忆中的重复学习技术

ICMLJun, 2021

Learning to Rehearse in Long Sequence Memorization

Zhu Zhang, Chang Zhou, Jianxin Ma, Zhijie Lin, Jingren Zhou...

TL;DR本文提出了一种名为 Rehearsal Memory (RM) 的方法，通过自监督的历史抽样式重复训练，设计了回忆和熟悉度等训练任务来提高对长序列的记忆，为了让记忆关注重要信息，设计了历史抽样器来选择有用的信息片段，通过 bAbI 任务、文本 / 视频问答和推荐等多种测试表明该方法大大提高了长序列推理的效率和精度。

Abstract

Existing reasoning tasks often have an important assumption that the input contents can be always accessed while reasoning, requiring unlimited storage resources and suffering from severe time delay on long sequences. To achieve efficient reasoning on long sequences with limited storag

efficient reasoning memory augmented neural networks long-sequence memorization self-supervised rehearsal history sampler

发现论文，激发创造

通过非局部循环神经记忆学习序列表示

本文提出了一种名为 NRNM 的非局部循环神经记忆网络，通过自注意机制实现非局部操作，以学习滑动时间记忆块内的全序交互，并以门控的循环方式模拟内存块之间的全局交互来解决序列表示学习中长期依赖建模难题，实验结果表明 NRNM 对于不同类型序列任务的泛化性和有效性优于其他最先进的方法。

Jul, 2022

通过参照信息的重复和预测支持流式数据问答的记忆模型

本文借鉴了人类记忆的机制，提出一种新的记忆模型，在处理输入时进行了排练和预测以记住重要信息，成功应用于问题回答数据集并得到了重大改进。

May, 2023

自动召回机制：内部回放、持续学习与大脑

本篇文章提出了一种新的方法来缓解训练神经网络时非稳态带来的行为遗忘现象，利用模型内部的内隐记忆来进行实时样本生成，并侧重于优化实际的训练数据批次，从而高效和可扩展的进行训练。作者探讨了该方法与大脑模型的对应之处，并发现这种方法的高效特性是自然而然地产生的。

Jun, 2020

利用自我合成的复述减轻大型语言模型中的灾难性遗忘