本文提出了一种名为 Rehearsal Memory (RM) 的方法，通过自监督的历史抽样式重复训练，设计了回忆和熟悉度等训练任务来提高对长序列的记忆，为了让记忆关注重要信息，设计了历史抽样器来选择有用的信息片段，通过 bAbI 任务、文本 / 视频问答和推荐等多种测试表明该方法大大提高了长序列推理的效率和精度。

Jun, 2021

我们展示了通过增加外部记忆来增强变压器型大语言模型以实现计算机普适性的方法。在不修改语言模型权重的情况下，我们将迭代设计被存储的指令计算机以精确模拟通用图灵机 U 15,2，从而证明了这一方法的可行性。

Jan, 2023

该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

Oct, 2020

我们提出了一种稀疏存储器访问方案（Sparse Access Memory，SAM），实现了具有非常大的内存时的高效训练，SAM 在训练上的数据效率与现有模型相当，可以扩展到数千个时间步和记忆量的任务，同时可以适用于维护记忆之间时间关联的模型，如可微分神经计算机（Differentiable Neural Computer）。

Oct, 2016

本文提出了一类用于索引和存储符号序列或模拟数据向量的递归神经网络，利用储池计算的性质，采用随机输入权重和正交递归权重实现之前在向量符号体系结构（VSA）中描述的编码原理，并提出了优化语音缓存网络，使其能够在处理数据流时在线工作的新型 VSA 模型的设计。

Feb, 2018

本文提出一种新型的神经存储程序内存，用于在神经控制器中存储权重，类似于现代计算机体系结构中的存储程序内存，从而增强了当前存储扩展神经网络，创建了可微分机器，可以通过时间切换程序，适应可变上下文，类似通用图灵机，可用于经典算法问题，组合、持续、少样本学习和问答任务。

May, 2019

本文提出了一种基于外部内存机制及元学习的可快速调整及变更参数的深度神经网络，该模型不仅适用于监督性问题，还能在强化学习等多种学习问题中取得较好的表现。

Jul, 2019

本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

May, 2016

我们介绍了 MemLLM，这是一种通过整合结构化且显式的读写内存模块来增强 LLMs 的新方法。 MemLLM 通过使内存与 LLM 的动态交互，改善了 LLM 在使用存储的知识方面的能力，从而解决了上述挑战。我们的实验结果表明，MemLLM 提高了 LLM 的性能和可解释性，尤其是在语言建模和知识密集型任务中。我们认为 MemLLM 是使 LLMs 通过内存增强更加扎实和事实准确的重要一步。

Apr, 2024

基于 RAG 方法的 RAM 框架利用递归推理检索和经验反思来不断更新记忆，并从用户的交流反馈中学习，通过大量实验证明在处理假设错误和多跳问题方面显著优于传统的 RAG 和自知识方法，同时展示了其在不同类型的反馈和检索方法链上的潜力，从而推动了动态知识获取和终身学习的人工智能能力。

Apr, 2024