使用哈希的高效开放域问答过程检索

ACLJun, 2021

使用哈希的高效开放域问答过程检索

Efficient Passage Retrieval with Hashing for Open-domain Question Answering

Ikuya Yamada, Akari Asai, Hannaneh Hajishirzi

TL;DR本篇论文介绍一种名为 Binary Passage Retriever (BPR) 的神经检索模型，它将学习哈希技术集成到 Dense Passage Retriever (DPR) 中，以紧凑的二进制代码表示待检索文本，从而大幅降低了内存成本，同时保证了一致的精度，这适用于开放领域的问答。

Abstract

Most state-of-the-art open-domain question answering systems use a neural retrieval model to encode passages into continuous vectors and extract them from a knowledge source. However, such retrieval models often require large memory to run because of the massive size of their passage i

neural retrieval model binary passage retriever memory-efficient learning-to-hash technique open-domain question answering

发现论文，激发创造

稠密通道检索器的复制研究

本研究对 Karpukhin 等人于 2020 年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了 BM25 基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

Apr, 2021

适用于内存高效密集检索的领域适应

本文探讨了二进制文档向量的性能及传统压缩技术的局限性，并提出了一个基于 GPL 的领域自适应策略，可在不需要标注训练数据的情况下，将 BPR 和 JPQ 调整适应任何语料库，提高了 nDCG@10 平均 11.6 - 19.3 分，并且仍保持了 32 倍的内存效率。

May, 2022

用于开放式领域问答的密集式检索

本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

Apr, 2020

生物医学问答中的前 K 个相关片段检索

我们在临床领域中通过对现有 DPR 框架的改进，从可靠的 Pubmed 文章中检索答案，使其在 BioASQ QA 数据集上的评估结果为 0.81 的 F1 得分。

Aug, 2023

DAPR: 一个关于文档感知的片段检索基准

本文提出了文档感知段落检索 (DAPR) 任务的概念，并通过在段落表示中引入文档级上下文的不同方法扩展最先进的神经段落检索器。实验结果表明，混合检索系统在 DAPR 任务中只能略微改进，但能显著改进文档检索任务，这激励着进一步研究该新任务的更好检索系统的开发。

May, 2023

开放域问答的高效内存基线

本文研究了基于密集表示的检索系统如何减少内存占用，并提出了三个方法：降维、量化和过滤。在 TriviaQA 和 NaturalQuestions 数据集上进行评估后，发现使用不到 6GB 的内存就能获得可以与竞品相媲美的系统。

Dec, 2020

多样化多项答案检索的联合通道排名

本文介绍了第一个联合检索模型，JPR，用于多答案检索，并使用自回归评分器选择一系列段落，JPR 能够在每个时间步选择覆盖新答案的段落，并使用树解码算法增加多样性。与之前的方法相比，JPR 在三个多答案数据集上实现了显著更好的答案覆盖率，使得答案生成模型能够考虑更少的段落，从而树立了新的最佳水平。

Apr, 2021

检索增强生成：稠密段落检索是否正在检索？

密集路径检索（DPR）是提升大型语言模型（LLM）性能的检索增强生成（RAG）范式中的第一步，本研究通过探测、层激活分析和模型编辑的组合，深入研究 DPR fine-tuning，发现 DPR 训练方式中的去中心化存储及其对检索模型的限制，为密集检索提供了几个可能的方向：（1）将更多知识暴露给 DPR 训练过程以实现更多的去中心化，（2）将事实作为分散表示注入，（3）在检索过程中建模和融入知识的不确定性，以及（4）将内部模型知识直接映射到知识库。

Feb, 2024

利用生成模型结合段落检索进行开放域问答

研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

Jul, 2020

控制令牌与密集段落检索

本研究解决了大型语言模型 (LLMs) 中的幻觉问题。我们采用了检索增强生成 (Retrieval-Augmented Generation, RAG) 技术，通过在提示信息中嵌入相关信息来获得准确答案。然而，RAG 在检索正确信息方面也面临固有问题。为了解决这个问题，我们采用了密集路径检索 (Dense Passage Retrieval, DPR) 模型，用于获取与用户查询相关的领域专业文档。尽管如此，DPR 模型在文档检索方面仍然精度不足。我们通过引入控制符号来增强 DPR 模型，取得了显著优异的性能，Top-1 准确率提高了 13%，Top-20 准确率提高了 4%。

May, 2024