EMNLPDec, 2021

开放域问答只需一个模型

PDF
TL;DR本研究提出了一种基于 transformer 架构的内部逐层注意力机制，将知识库搜索模型和重排模型整合为统一的模型，并进行端到端训练，以实现高效利用模型容量并提高梯度流量。该模型可以在固定参数预算内显著优于现有模型，达到 1.0 和 0.7 的精准匹配得分。
发现论文，激发创造
  • 把检索视为注意力：单个 Transformer 内检索和阅读的端到端学习

    通过使用 Retrieval as Attention (ReAtt) 和 Transformer，我们的研究表明，通过端到端的培训，单个模型可以同时实现有竞争力的提取和问答表现，在监督和无监督的设置中显著提高其在超领域数据集上的性能。

    Dec, 2022

  • 开放域问答阅读器能像人类一样高效地利用外部知识吗？

    通过对外部知识进行动态阅读的方法，结合模型参数内已有知识的‘封闭阅读’和结合‘开放阅读’的方式，有效提升了开放域问答模型的推理效率和预测准确率。

    Nov, 2022

  • 从文本中回答具有不同推理步骤的开放领域问题

    通过使用单个多任务 transformer 模型，我们设计了一个统一的系统，可以迭代地检索支持事实，重新排序它们，并从所有检索的文档中预测答案，从而回答各种需要不同数量的检索步骤的开放领域问题。我们构建了一个新的基准测试 BeerQA，并证明我们的模型在现有基准测试和这个新基准测试上都表现出有竞争力的表现。

    Oct, 2020

  • 开放域问答中的答案重新排序的证据聚合

    本文提出了两种新的模型，在公开领域问答数据集中取得了最具竞争力的结果。这两种方法是使用多篇文章生成答案。

    Nov, 2017

  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020

  • R$^3$: 强化学习阅读器 - 排名器用于开放领域问答

    本文提出了一种基于神经网络和增强学习的新型开放领域问答系统，通过信息检索结合阅读理解模型对大规模语料库进行查询，显著提高了多个数据集的表现。

    Aug, 2017

  • 学习关注于主要术语：用于开放领域问答的增强型检索器 - 阅读器模型

    本文提出了一种检索 - 阅读器模型，该模型能够在回答问题过程中学习关注必要的词语，该模型包括一个选择器来确定问题中最重要的词语，再重新制定查询，搜索相关证据； 和一种增强阅读器来区分必要词语和分心的词语以预测答案，在多个开放域多项选择 QA 数据集上进行了评估，尤其在 AI2 推理挑战（ARC）数据集上达到了业界最高水平。

    Aug, 2018

  • 可扩展开放领域问答的多步检索器和阅读器交互

    该论文介绍了一种新的开放域问答框架，其中检索器和阅读器相互迭代交互，引入了多步推理机制，有助于从长度为百万级的语料库中检索信息性段落，并应用于不同的问答数据集和模型中均取得了一致性的提升。

    May, 2019

  • 开放域问答的多文档阅读器和检索器的端到端训练

    提出了一种针对获取增强型开放领域问答系统的端到端可区分训练方法，它结合多个已检索文件的信息来生成答案，通过期望最大化算法的近似计算来建模检索决策，证明了该方法优于现有同类方法，达到了新的最高水平。

    Jun, 2021

  • 端到端的神经检索器训练，用于开放领域的问答

    本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。

    Jan, 2021