开放域问答的高效内存基线

Dec, 2020

A Memory Efficient Baseline for Open Domain Question Answering

Gautier Izacard, Fabio Petroni, Lucas Hosseini, Nicola De Cao, Sebastian Riedel...

TL;DR本文研究了基于密集表示的检索系统如何减少内存占用，并提出了三个方法：降维、量化和过滤。在 TriviaQA 和 NaturalQuestions 数据集上进行评估后，发现使用不到 6GB 的内存就能获得可以与竞品相媲美的系统。

Abstract

Recently, retrieval systems based on dense representations have led to important improvements in open-domain question answering, and related tasks. While very effective, this approach is also memory intensive, as

dense representations open-domain question answering memory footprint dimension reduction vector quantization

发现论文，激发创造

用于开放式领域问答的密集式检索

本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

Apr, 2020

为开放域问答设计最小检索和阅读系统

本文提出了几种策略，大幅减少提取和阅读的开放域问答系统的存储空间占用，即使在边缘设备上使用，也可以实现比纯参数模型更好的准确度。

Apr, 2021

实时开放域问答与密集稀疏短语索引

本文提出了一种查询不可知的可索引文档短语表示，该表示可以大大加速开放域问答，并允许我们达到长尾目标。实验证明，该模型的计算成本降低了 6,000 倍，并且比 DrQA 更准确，可以在 CPU 上实现最快 58 倍的端到端推理基准。

Jun, 2019

问答中用于 top-k 文档检索的增强向量

提出一种新的文档检索方法，通过赋予每个文档一个唯一标识符和使用密集矢量进行索引，以实现高效准确地检索问题答案所需的证据文档，适用于对话聊天机器人等情景。

Oct, 2022

简单实体中心问题挑战密集检索器

本文主要研究使用 Wikidata 数据构造的 entity-rich questions 在密集检索模型中表现不佳的问题，并探讨了两种解决方案：第一种解决方法是数据扩充无法解决广义化问题，第二种解决方法是更加强大的 passage encoder 有助于使用专门化的问题编码器来更好地适应问题。

Sep, 2021

大规模学习短语的密集表示

该研究展示了从阅读理解任务的监督学习中学习到短语的密集表示，并使用负采样方法提高性能，能够取代当前依赖于稀疏表示的短语检索模型，实现更好的开放域问答准确性并被用作密集知识库。

Dec, 2020

使用多跳密集检索回答复杂开放域问题

我们提出了一种简单而高效的多跳密集检索方法来回答复杂的开放域问题，该方法在两个多跳数据集 HotpotQA 和多证据 FEVER 上实现了最先进的性能。与以前的工作相反，我们的方法不需要访问任何特定于语料库的信息（如文档间超链接或人工注释实体标记），可以应用于任何非结构化文本语料库。与已发布的 HotpotQA 的最佳准确度相匹配，同时在推理时间上快 10 倍，我们的系统也可以产生更好的效率 - 准确性权衡。

Sep, 2020

利用 QA-Memory 增强预训练语言模型以进行开放域问答

本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Apr, 2022

基于密集检索的表格开放领域问答

本研究针对开放领域问题回答系统的表格数据提出了一种有效的检索方法，并通过训练和挖掘难例等技术，提高了回答的准确性和表现。

Mar, 2021

知识库索引压缩通过降维和精度降低

本文研究了通过降低信息库的维度和数值精度来减少检索问题答案时所需的计算资源，发现 PCA 能够简单地解决问题且需要的数据量较少，结合 1 位 / 维使能够在保持较好检索性能的前提下实现大幅压缩。

Apr, 2022