用于开放式领域问答的密集式检索

EMNLPApr, 2020

用于开放式领域问答的密集式检索

Dense Passage Retrieval for Open-Domain Question Answering

Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu...

TL;DR本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

Abstract

open-domain question answering relies on efficient passage retrieval to select candidate contexts, where traditional sparse vector space models, such as TF-IDF or BM25, are the de facto method. In this work, we s

open-domain question answering passage retrieval dense representations dual-encoder framework state-of-the-art

发现论文，激发创造

生物医学问答中的前 K 个相关片段检索

我们在临床领域中通过对现有 DPR 框架的改进，从可靠的 Pubmed 文章中检索答案，使其在 BioASQ QA 数据集上的评估结果为 0.81 的 F1 得分。

Aug, 2023

简单实体中心问题挑战密集检索器

本文主要研究使用 Wikidata 数据构造的 entity-rich questions 在密集检索模型中表现不佳的问题，并探讨了两种解决方案：第一种解决方法是数据扩充无法解决广义化问题，第二种解决方法是更加强大的 passage encoder 有助于使用专门化的问题编码器来更好地适应问题。

Sep, 2021

稠密通道检索器的复制研究

本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

Apr, 2021

开放域问答的高效内存基线

本文研究了基于密集表示的检索系统如何减少内存占用，并提出了三个方法：降维、量化和过滤。在 TriviaQA 和 NaturalQuestions 数据集上进行评估后，发现使用不到 6GB 的内存就能获得可以与竞品相媲美的系统。

Dec, 2020

RocketQA: 开放领域问答中基于密集文本检索的优化训练方法

本文提出了一种优化的训练方法 RocketQA 来改进密集问答检索，通过跨批次负样例、去噪硬负样例和数据增强等三种策略的实验，证明该方法在 MSMARCO 和 Natural Questions 上都显著优于之前的最先进模型，并提高了 end-to-end QA 的性能。

Oct, 2020

用于外部知识视觉问答的段落检索

本文研究了在多模态信息检索场景下，运用解析文本问题和图像进行感知的方法，探索了基于自定义大型未结构化收集文本的文本检索方法，并在此基础上构建了一个双编码器稠密信息检索模型，通过实验对模型进行了验证，得出了补充文本拓扑自动增强方法对检索结果的提升效果较为有效，密集检索方法和人工生成字幕检索方法的检索性能近似。

May, 2021

短语检索也学会了段落检索

通过研究密集短语检索系统，探讨短语检索是否可以作为粗粒度检索（如段落和文档）的基础，并提出了短语过滤和矢量量化等方法，可以将检索索引的大小减小至原来的 4-10 倍，从而使得密集短语检索成为多粒度检索的实用解决方案。

Sep, 2021

只需要问题：密集式段落检索器训练

ART 是一种新的语料库自动编码方法，用于训练密集检索模型，通过未标注的输入和输出实现了高效的无监督学习，且在不需要标记数据和任务特定的损失的情况下，在多个 QA 检索基准测试中获得了最先进的结果。

Jun, 2022

基于密集检索的表格开放领域问答

本研究针对开放领域问题回答系统的表格数据提出了一种有效的检索方法，并通过训练和挖掘难例等技术，提高了回答的准确性和表现。

Mar, 2021

大规模学习短语的密集表示

该研究展示了从阅读理解任务的监督学习中学习到短语的密集表示，并使用负采样方法提高性能，能够取代当前依赖于稀疏表示的短语检索模型，实现更好的开放域问答准确性并被用作密集知识库。

Dec, 2020