叙述 XL: 用于长期记忆模型的大规模数据集

May, 2023

叙述 XL: 用于长期记忆模型的大规模数据集

Narrative XL: A Large-scale Dataset For Long-Term Memory Models

Arseny Moskvichev, Ky-Vinh Mai

TL;DR提出了一种通过 GPT 3.5 从 Project Gutenberg 中的书籍总结场景并创建阅读理解问题的方法，用于创建可以训练和评估长期记忆语言模型的数据集，并经过人工和模型的实验验证，证明该数据集可以诊断模型的记忆容量，并且不是现代语言模型的简单问题。

Abstract

Despite their tremendous successes, most large language models do not have any long-term memory mechanisms, which restricts their applications. Overcoming this limitation would not only require changes to the typical transformer architectures or training procedures, but also a dataset

long-term memory language models short-term memory language models reading comprehension questions memory performance evaluation dataset

发现论文，激发创造

利用大型语言模型研究人类对有意义叙述的记忆

语言模型作为一种科学工具，我们展示了它在研究人类对有意义材料的记忆上的应用，通过在线大规模记忆实验和结果分析，发现记忆和认知表现与叙述长度成线性关系，并且研究叙述理解在记忆中的作用。

Nov, 2023

在大型语言模型中，递归总结实现了长期的对话记忆

使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

Aug, 2023

PerLTQA: 一个个人长期记忆数据集，用于问题回答中的记忆分类、检索和合成

该研究通过引入 PerLTQA 数据集，结合语义和经验记忆，包括世界知识、个人资料、社交关系、事件和对话，旨在调查个性化记忆在 QA 任务中的应用，强调了记忆整合在 QA 任务中的重要性。

Feb, 2024

长跨度问答：通过并行评估自动生成问题和问答系统排序

通过使用大型语言模型的长期上下文能力，我们利用整本书籍创建合成阅读理解数据。我们提出了一个全面的自动化数据生成流程，包括问题生成、回答和模型评分。我们还发现将答案在模型之间进行相对比较，并使用 Bradley-Terry 模型进行排名，与绝对评分器相比，提供了一种更一致和区分性更强的评分机制。同时，我们展示了不同模型族的大型语言模型在评分方面的适度一致性。通过人工策划的 NarrativeQA 数据集验证了我们的方法，并且我们的评估器与人类判断达到了很好的一致性，甚至在数据集中发现了错误。使用我们的自动化评估方法，我们展示了与无上下文（参数化知识）和基于检索的方法相比，使用整本书籍作为上下文可以获得更优秀的阅读理解性能。

May, 2024

长话短说：针对长视频问答的摘要搜索方法

探究语言模型在长时间多媒体叙述中的零 - shot 推理能力，提出了一种用于叙述视频问答的框架 Long Story Short，通过首先将视频的叙述进行简化处理，然后寻找与问题相关的视频部分，并运用 CLIPCheck 来增强视觉匹配，实现了在长视频问答中优于最先进有监督模型的表现，突显了零 - shot 问题回答在长视频中的潜力。

Nov, 2023

阅读深层意义：利用作者进行短篇小说梗概评估大型语言模型

最近的大型语言模型在总结短篇小说这一具有挑战性的任务上进行评估，结果显示这些模型在超过 50% 的总结中存在不忠实的错误，并且对于难以解释的含义也有困难，然而在最好的情况下，这些模型可以提供有思考深度的故事主题分析，并且我们还证明了语言模型对总结质量的评判与作者的反馈不一致。

Mar, 2024

大型语言模型是否适用于导读阅读？

本篇研究探讨了大型语言模型在参与教育指导阅读方面的能力，着重评估它们从输入文本中生成有意义问题和多样化问题的能力，以及根据学生对问题的回答生成要求他们重新阅读一部分文本的能力。通过我们对 ChatGPT 和 Bard 的评估，我们得出结论：1）大型语言模型能够生成高质量的有意义问题，与输入文本有很高的相关性，2）它们生成覆盖输入文本大多数主题的多样化问题，尽管这种能力会随着输入文本的增加而明显降低，3）大型语言模型能够产生低和高认知问题，尽管它们明显偏向于低认知问题，4）它们能够有效地总结回答并提取应重新阅读的部分文本。

May, 2023

评估 LLM 代理商的非常长期对话记忆

通过使用基于 LLM 的代理体系结构和将对话与人物和时间事件图进行关联，我们介绍了一个机器 - 人类管道来生成高质量的非常长期的对话，并通过人类注释者对其进行检验和编辑，以确保其长程一致性和对事件图的关联。通过这个管道，我们收集了一个包含 300 个回合和平均 9K 个记号的非常长期对话的数据集。基于该数据集，我们提出了一个全面的评估基准来衡量模型中的长期记忆，在问题回答、事件摘要和多模态对话生成任务方面。我们的实验结果表明，LLM 在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文 LLM 或 RAG 等策略可以提供改进，但这些模型仍然远远落后于人类的性能。

Feb, 2024

TLDR9+：一项大规模资源，用于极端压缩社交媒体帖子

本文介绍了 TLDR9 +—— 一个从 Reddit 讨论论坛中提取的包含 900 万多个训练实例的大规模摘要数据集，旨在进行极端摘要，并通过人工注释蒸馏出更细粒度的 TLDRHQ 数据集，进一步点出我们所提出的数据集上不同的最先进的摘要模型。

Oct, 2021

大规模语言模型在视频摘要预训练中的扩展

利用大型语言模型生成大规模的视频摘要数据集，提出了一种新的视频摘要模型，并呈现了一个由专业人员注释的高质量摘要的基准数据集，实验证明该方法在多个基准测试中达到了最新的最佳效果。

Apr, 2024