LUMEN 是一种检索 - 增强型语言模型，介于传统的基于文本语料库的预编码记忆和需要编码大量检索段落的 Fusion-in-Decoder 之间，利用一个实时编码器完成编码任务，比 FiD 更便宜且更适合于解决各种问题 - 回答任务，而且 LUMEN 的优势随着模型大小的增加而增加。

Jan, 2023

提出了 MEMORY-VQ 方法，通过使用向量量化变分自编码器 (VQ-VAE) 来压缩令牌表示，从而减少记忆增强模型的存储要求，应用于 LUMEN 模型中获得 LUMEN-VQ，一个具有相当性能的记忆模型，可在大型检索语料库中实现实用的检索增强。

Aug, 2023

提出了一种新的训练方法 TRIME，用于训练具有记忆增强的语言模型，该方法使用直接获取批量样例作为可访问内存的训练目标，并在训练集上构建大型记忆集以帮助提高模型性能。

May, 2022

我们介绍了 MemLLM，这是一种通过整合结构化且显式的读写内存模块来增强 LLMs 的新方法。 MemLLM 通过使内存与 LLM 的动态交互，改善了 LLM 在使用存储的知识方面的能力，从而解决了上述挑战。我们的实验结果表明，MemLLM 提高了 LLM 的性能和可解释性，尤其是在语言建模和知识密集型任务中。我们认为 MemLLM 是使 LLMs 通过内存增强更加扎实和事实准确的重要一步。

Apr, 2024

本研究提出了一种 LLm-Augmenter 系统，它通过使用存储在特定任务数据库中的外部知识和迭代地根据效用函数生成的反馈来改善 LLM 的提示，从而使其生成基于外部知识的响应，实现了应用到任务导向对话和问题回答的实际场景中，显著减少 ChatGPT 模型的幻觉。

Feb, 2023

通过提出一种名为增强检索增强机器学习（RRAML）的新型框架，将大型语言模型的推理能力与用户提供的数据库中的检索信息相结合，有效地解决了 API 文本输入的上下文限制和外部数据源可用性的局限性。

Jul, 2023

本文展示了使用增强记忆的大型语言模型（LLM）架构在提高从潜在长上下文中召回事实的能力方面的好处。我们以 LARIMAR 为案例研究，它是最近提出的一种 LLM 架构，通过在 LLM 解码器上增加外部关联内存来增强性能，并在几个长上下文召回任务中进行测试，包括密码测试和大海捞针测试。我们证明了测试时可以适应比训练中观察到的更长上下文，同时保持经过训练的解码器可以识别的内存读出结果，而不增加 GPU 内存占用。与参数数量相近的长上下文召回任务的其他替代架构相比，LARIMAR 可以在没有任何特定任务训练的情况下保持强大的性能。

Jul, 2024

通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

Sep, 2023

本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

Jul, 2022

本文介绍了通过使用 Retrieval Augmented Generation（RAG）来改善问题求解性能的 ARM-RAG（Auxiliary Rationale Memory for Retrieval Augmented Generation）系统，并展示了存储和检索推理链对于小学数学问题的性能具有积极影响。

Nov, 2023