提出了一种通过 GPT 3.5 从 Project Gutenberg 中的书籍总结场景并创建阅读理解问题的方法，用于创建可以训练和评估长期记忆语言模型的数据集，并经过人工和模型的实验验证，证明该数据集可以诊断模型的记忆容量，并且不是现代语言模型的简单问题。

May, 2023

大型语言模型（LLMs）是巨大的人工神经网络，主要用于生成文本，但同时也提供了一个非常复杂的语言使用概率模型。我们调查了 LLMs 的记忆特性，并发现它与人类记忆的关键特征存在惊人的相似性，这一结果强烈暗示了人类记忆的生物特征对我们构建文本叙述的方式产生了影响。

Nov, 2023

训练自然语言处理系统以深入理解语言是该领域的中心目标之一。本文从人类大脑理解自然语言的角度出发，研究了使用叙述数据集进行深层次叙事理解训练的语言模型是否真正学习了更深层次的文本理解，并表明了这种训练可以带来更好的大脑 - 自然语言处理对齐性、可以使语言模型在长距离文本理解方面取得改进。

Dec, 2022

通过测试 ChatGPT 在语言记忆任务中对人类表现的预测能力，研究发现 ChatGPT 和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

Mar, 2024

大语言模型（LLMs）在各个领域展示了前所未有的性能，但其特殊行为之一 —— 记忆化 —— 仍缺乏解释，本研究通过多个角度全面探讨记忆化现象及其动态，并通过实验证实了模型大小、连续大小和上下文大小之间的记忆化关系，以及不同记忆化得分下句子的嵌入分布和解码动态，揭示了当模型开始生成记忆化或非记忆化句子时的边界效应，最后通过训练 Transformer 模型预测不同模型的记忆化，证明了通过上下文预测记忆化的可行性。

May, 2024

使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

Aug, 2023

本文对叙事理解任务进行了综合调查，详细研究了其关键特征、定义、分类、相关数据集、训练目标、评估指标和局限性。此外，我们探讨了将模块化大型语言模型的能力扩展到新的叙事理解任务的潜力，并通过将叙事理解视为提取作者想象线索的方式，引入了增强叙事理解的新方法。

Oct, 2023

本文论述叙事理解与生成有趣的文本是现代自然语言处理的核心难点之一，同时也是整个人工智能领域的难点，由于缺乏合适的数据集、评估方法和操作概念，使得研究者们难以着手进行叙事处理的工作。

Nov, 2022

本研究利用 Barthes Cardinal Functions 和 surprise 和理论为基础的无监督方法，将其应用于长篇叙事形式中，改进了标准 transformer 语言模型，通过引入 Retrieval Augmented Generation 的外部知识库和添加记忆机制来提高该语言模型在长篇作品中的性能，使用来自 Shmoop 语料库的章节摘要来推导显著性标注的新方法，针对这些数据进行的评估证明，与非知识库和记忆增强语言模型相比，我们的显著性检测模型提高了性能，这两者对于此改善至关重要。

Sep, 2021

研究了大型语言模型的训练和记忆过程，在不同设置下测量了数据集大小、学习率和模型大小对其记忆能力的影响，证明更大的语言模型更快地记忆训练数据，更容易在训练过程中避免过度拟合。同时，分析了不同词性的记忆动态，发现名词和数字是模型记忆单个训练例子的唯一标识符。这些发现有助于深入了解模型变大所带来的真正好处。

May, 2022