EMNLPDec, 2022

把检索视为注意力：单个 Transformer 内检索和阅读的端到端学习

PDF
TL;DR通过使用 Retrieval as Attention (ReAtt) 和 Transformer，我们的研究表明，通过端到端的培训，单个模型可以同时实现有竞争力的提取和问答表现，在监督和无监督的设置中显著提高其在超领域数据集上的性能。
open-domain question answeringretrieval as attentiontransformerend-to-end trainingknowledge-intensive tasks
发现论文，激发创造
  • 开放域问答的多文档阅读器和检索器的端到端训练

    提出了一种针对获取增强型开放领域问答系统的端到端可区分训练方法，它结合多个已检索文件的信息来生成答案，通过期望最大化算法的近似计算来建模检索决策，证明了该方法优于现有同类方法，达到了新的最高水平。

    Jun, 2021

  • 开放域问答只需一个模型

    本研究提出了一种基于 transformer 架构的内部逐层注意力机制，将知识库搜索模型和重排模型整合为统一的模型，并进行端到端训练，以实现高效利用模型容量并提高梯度流量。该模型可以在固定参数预算内显著优于现有模型，达到 1.0 和 0.7 的精准匹配得分。

    Dec, 2021

  • 检索，阅读，重新排名：面向端到端多文档阅读理解

    本文提出了 RE$^3$QA，一种统一的问答模型，它结合了上下文检索、阅读理解和答案重排序来预测最终答案。与以往的流水线方法不同，RE$^3$QA 跨不同的组件共享上下文化的文本表示，并设计了高质量的上游输出来直接监督下游模块，从而避免了上下文不一致的问题，实现了端到端的训练。实验证明，我们的模型优于管道基线，在两个版本的 TriviaQA 和两个变体的 SQuAD 上实现了最先进的结果。

    Jun, 2019

  • 学习关注于主要术语：用于开放领域问答的增强型检索器 - 阅读器模型

    本文提出了一种检索 - 阅读器模型，该模型能够在回答问题过程中学习关注必要的词语，该模型包括一个选择器来确定问题中最重要的词语，再重新制定查询，搜索相关证据； 和一种增强阅读器来区分必要词语和分心的词语以预测答案，在多个开放域多项选择 QA 数据集上进行了评估，尤其在 AI2 推理挑战（ARC）数据集上达到了业界最高水平。

    Aug, 2018

  • 端到端的神经检索器训练，用于开放领域的问答

    本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。

    Jan, 2021

  • 基于检索增强生成的端到端表格问答

    我们提出了 T-RAG，一个端到端的表格问答（Table QA）模型，其中一个非参数密集向量索引与 BART 共同微调，通过一个统一的流程搜索表格语料库来直接定位正确答案，并将其应用到最近的开放域表格 QA 基准测试中，并证明微调后的 T-RAG 模型在端到端表格 QA 和表格检索任务中均能够取得最先进的性能。

    Mar, 2022

  • UnitedQA: 开放领域问答的混合方法

    本文研究了一种混合的提取式和生成式阅读器方法，以及如何结合这两种方法进行问答。我们通过一些新技术对预训练的神经语言模型进行了改进，证明了这种方法比以前最先进的模型效果更好，取得了 3.3 和 2.7 的提升。

    Jan, 2021

  • 可扩展开放领域问答的多步检索器和阅读器交互

    该论文介绍了一种新的开放域问答框架，其中检索器和阅读器相互迭代交互，引入了多步推理机制，有助于从长度为百万级的语料库中检索信息性段落，并应用于不同的问答数据集和模型中均取得了一致性的提升。

    May, 2019

  • 交叉注意力监督数据增强在问答神经检索中的应用

    通过使用数据挖掘和神经网络构建早期和晚期融合的混合模型，我们展示了一种有效的方法，可以提高在大型语料库中连续空间检索的性能

    Sep, 2020

  • 从阅读器向检索器提取知识以作问答之用

    本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。

    Dec, 2020