ACLJan, 2021

端到端的神经检索器训练，用于开放领域的问答

PDF
TL;DR本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。
发现论文，激发创造
  • 开放域问答的多文档阅读器和检索器的端到端训练

    提出了一种针对获取增强型开放领域问答系统的端到端可区分训练方法，它结合多个已检索文件的信息来生成答案，通过期望最大化算法的近似计算来建模检索决策，证明了该方法优于现有同类方法，达到了新的最高水平。

    Jun, 2021

  • 弱监督开放域问答的潜在检索

    本文提出了一种新的 open domain question answering 方法，利用问题 - 回答对来同时学习 retriever 和 reader，将 Wikipedia 中的证据检索视为潜在变量，并通过 Inverse Cloze Task 进行预训练。我们的方法在五个 QA 数据集上进行测试，表明在用户真正寻求答案的数据集上，学习检索至关重要，完全匹配方面的得分比传统的 IR 系统（如 BM25）高达 19 个点。

    Jun, 2019

  • C-MORE: 通过查询数百万参考文献进行预训练以回答开放领域问题

    本文介绍了一种使用维基百科引用构建大规模预训练语料库以满足开放域问答系统的需求的方法，并测试了改进后的 retriever 和 reader 在精确度和 top-20 准确率方面的表现。

    Mar, 2022

  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • UnitedQA: 开放领域问答的混合方法

    本文研究了一种混合的提取式和生成式阅读器方法，以及如何结合这两种方法进行问答。我们通过一些新技术对预训练的神经语言模型进行了改进，证明了这种方法比以前最先进的模型效果更好，取得了 3.3 和 2.7 的提升。

    Jan, 2021

  • 把检索视为注意力：单个 Transformer 内检索和阅读的端到端学习

    通过使用 Retrieval as Attention (ReAtt) 和 Transformer，我们的研究表明，通过端到端的培训，单个模型可以同时实现有竞争力的提取和问答表现，在监督和无监督的设置中显著提高其在超领域数据集上的性能。

    Dec, 2022

  • 基于填空翻译的无监督问答

    本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。

    Jun, 2019

  • 训练用于开放域问答的排名函数

    该研究提出了两个神经网络排序器，用于评分不同段落是否包含特定问题的答案，进一步分析了语义相似性与单词级相关性匹配在开放域 QA 中的相对重要性。

    Apr, 2018

  • AugTriever：可扩展的数据增强无监督密集检索

    本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

    Dec, 2022

  • 使用 ColBERT 进行开放式问题回答的相关性引导监督

    利用 ColBERT 模型定义了 ColBERT-QA，采用细粒度相互作用和弱监督策略来提升开放域问答的效果，实验结果表明在三个数据集上均取得了最先进的提取式开放域问答性能。

    Jul, 2020