通过使用大型语言模型的长期上下文能力，我们利用整本书籍创建合成阅读理解数据。我们提出了一个全面的自动化数据生成流程，包括问题生成、回答和模型评分。我们还发现将答案在模型之间进行相对比较，并使用 Bradley-Terry 模型进行排名，与绝对评分器相比，提供了一种更一致和区分性更强的评分机制。同时，我们展示了不同模型族的大型语言模型在评分方面的适度一致性。通过人工策划的 NarrativeQA 数据集验证了我们的方法，并且我们的评估器与人类判断达到了很好的一致性，甚至在数据集中发现了错误。使用我们的自动化评估方法，我们展示了与无上下文（参数化知识）和基于检索的方法相比，使用整本书籍作为上下文可以获得更优秀的阅读理解性能。

May, 2024

本文旨在通过运用多阶段关注机制和序列到序列模型，在长文档的背景下产生更真实的问题，结果表明在 SQuAD、MS MARCO 和 NewsQA 三个问答数据集上，该方法优于现有方法。

Oct, 2019

在金融领域的定量推理研究中，由于商业和金融决策的重大影响，确实需要使用现实任务和数据。我们引入了一项长文档金融问答任务，通过在现有的 FinQA 数据集中添加完整文档的背景，将每个问题的平均上下文长度从 FinQA 的 700 个单词扩展到 DocFinQA 的 123k 个单词。我们对增强数据进行了广泛的基于检索的问答流程和长上下文语言模型的实验。结果表明，对于最强大的最先进系统来说，DocFinQA 提供了挑战。

Jan, 2024

该论文探讨了长篇问答任务中关于评估和数据集构建所面临的挑战，在提出新模型的同时指出该任务中 ROUGE-L 评估不具信息性，且训练集和验证集存在显著重复。给出了缓解这些问题的建议。

Mar, 2021

本文提出了一种新的提示策略，通过使用带有反馈的演示示例来提高大型语言模型（LLM）的上下文学习性能，该策略在三个多跨度问题回答数据集以及一个关键字提取数据集上进行实验证明了其一致的性能提高。

Jun, 2023

基于强化学习和词向量，提出了一种可以高效处理长篇文档的问答框架，该框架结合了快速筛选相关句子和精读相关句子的策略，并在 Wikireading 的一个挑战性子集和一组新的数据集上实现了最新的性能，同时使模型的速度提高 3.5 倍至 6.7 倍。

Nov, 2016

本研究提出一种基于问答预训练目标的预处理方法，利用编码器 - 解码器的结构来在上下文中编码问题答案，成功应用于零样本学习等多个自然语言处理任务，相比现有最佳方法提升明显。

Jun, 2021

该研究提出了一种新算法，用于解决复杂的教材题目答案（TQA）任务，该算法主要围绕多模态上下文中的知识特征提取以及自我监督开放式学习过程展开，并且实验证明其优于目前先进的方法。

Nov, 2018

使用英文小说构建的 NovelQA 评估长上下文具有深层文本理解能力的 LLMs 的表现，结果强调了 LLMs 在多次推理、注重细节的问题和超过 100,000 个标记的极长输入方面面临的挑战，强调了进一步改进 LLMs 以提高其长上下文理解和计算文学研究的必要性。

Mar, 2024

提出了一个新的长上下文基准测试 Loong，通过扩展的多文档问题回答来实现与现实场景的对齐，来评估模型的长上下文建模能力。

Jun, 2024