May, 2024

长跨度问答：通过并行评估自动生成问题和问答系统排序

PDF
TL;DR通过使用大型语言模型的长期上下文能力，我们利用整本书籍创建合成阅读理解数据。我们提出了一个全面的自动化数据生成流程，包括问题生成、回答和模型评分。我们还发现将答案在模型之间进行相对比较，并使用 Bradley-Terry 模型进行排名，与绝对评分器相比，提供了一种更一致和区分性更强的评分机制。同时，我们展示了不同模型族的大型语言模型在评分方面的适度一致性。通过人工策划的 NarrativeQA 数据集验证了我们的方法，并且我们的评估器与人类判断达到了很好的一致性，甚至在数据集中发现了错误。使用我们的自动化评估方法，我们展示了与无上下文（参数化知识）和基于检索的方法相比，使用整本书籍作为上下文可以获得更优秀的阅读理解性能。
long-context capabilitiessynthetic reading comprehension datalarge language modelsquestion generationreading comprehension performance
发现论文，激发创造
  • NovelQA: 一个长距离小说问答基准

    使用英文小说构建的 NovelQA 评估长上下文具有深层文本理解能力的 LLMs 的表现，结果强调了 LLMs 在多次推理、注重细节的问题和超过 100,000 个标记的极长输入方面面临的挑战，强调了进一步改进 LLMs 以提高其长上下文理解和计算文学研究的必要性。

    Mar, 2024

  • 提升问题生成的上下文捕获能力

    本文旨在通过运用多阶段关注机制和序列到序列模型，在长文档的背景下产生更真实的问题，结果表明在 SQuAD、MS MARCO 和 NewsQA 三个问答数据集上，该方法优于现有方法。

    Oct, 2019

  • 基于监督对比学习的长文本问答

    本文提出一种新的方法，通过在 fine-tuning 过程中为模型提供对比监督信号，通过最大化问题 - 证据的相似性，明确区分支持证据句子和负面证据句子，从而为长上下文问答模型提供更好的支持证据识别，取得了一致的性能提升。

    Dec, 2021

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • 不留下任何文件：扩展多文档问答中的长上下文语言模型基准测试

    提出了一个新的长上下文基准测试 Loong，通过扩展的多文档问题回答来实现与现实场景的对齐，来评估模型的长上下文建模能力。

    Jun, 2024

  • 自动从长答案生成问题的研究

    提出了一种新的评估基准用于评估现有的自动生成问题系统的性能，特别是长文本答案下的自动生成问题系统。研究表明，随着答案长度的增加，现有 AQG 方法的性能显著下降，变压器模型在长答案方面的表现优于其他 AQG 方法，但仍存在性能下降的情况，这表明长答案 QA 是未来研究的具有挑战性的基准任务。

    Apr, 2020

  • 通过生成问题和答案对自动化阅读理解

    本文提出一种基于神经网络的两阶段机制来生成问题 - 答案对，第一阶段采用 Pointer Networks 编码句子中的关键答案，第二阶段采用序列到序列模型生成问题，最终采用全局注意力和答案编码生成最相关的问题。实验结果表明我们的方法在生成问题的质量上显著优于现有方法，是自动阅读理解评估的又一步。

    Mar, 2018

  • PROXYQA：使用大型语言模型评估长文本生成的备选框架

    本研究介绍了 ProxyQA 框架，用于评估长文本生成能力，并通过评估器和生成的内容作为背景背景进行生成内容的质量评估，结果表明使用代理问题评估是一种高度自洽且与人工标准相关的验证方法。

    Jan, 2024

  • 长篇文档的分层问答

    基于强化学习和词向量，提出了一种可以高效处理长篇文档的问答框架，该框架结合了快速筛选相关句子和精读相关句子的策略，并在 Wikireading 的一个挑战性子集和一组新的数据集上实现了最新的性能，同时使模型的速度提高 3.5 倍至 6.7 倍。

    Nov, 2016

  • CaLMQA: 跨 23 种语言探索跨文化特定长篇问答

    通过介绍 CaLMQA，一个涵盖 23 种语言的 2.6K 多样化问题集，我们发现大型语言模型在生成复杂问题的长篇答案时在某些低资源语言方面的质量明显下降，这突显了 LLM 多语言能力和非英语长篇问题回答评估中进一步研究的需求。

    Jun, 2024