ACLOct, 2020

RocketQA: 开放领域问答中基于密集文本检索的优化训练方法

PDF
TL;DR本文提出了一种优化的训练方法 RocketQA 来改进密集问答检索，通过跨批次负样例、去噪硬负样例和数据增强等三种策略的实验，证明该方法在 MSMARCO 和 Natural Questions 上都显著优于之前的最先进模型，并提高了 end-to-end QA 的性能。
dense passage retrievaldual-encoder architecturerocketqacross-batch negativesdata augmentation
发现论文，激发创造
  • 用于开放式领域问答的密集式检索

    本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

    Apr, 2020

  • RocketQAv2：一种用于稠密段落检索和段落重新排序的联合训练方法

    提出一种新颖的联合训练方法，将密集型段落检索和段落重新排名进行联合优化，其中动态列表蒸馏、混合数据增强策略和列表训练方法等对于检索和重新排名均具有显著的贡献，实验结果表明该方法在 MSMARCO 和自然问题数据集上具有有效性。

    Oct, 2021

  • 只需要问题：密集式段落检索器训练

    ART 是一种新的语料库自动编码方法，用于训练密集检索模型，通过未标注的输入和输出实现了高效的无监督学习，且在不需要标记数据和任务特定的损失的情况下，在多个 QA 检索基准测试中获得了最先进的结果。

    Jun, 2022

  • 基于知识引导的开放领域问答中的文本检索和阅读

    本研究提出了一种基于知识库和相关文章文本联合的开放领域问答方法，通过检索和阅读一个包含文本段的图表结构，并采用跨相关段落传播信息的方式更新文本段落表示，从而在 WebQuestions、自然问题和 TriviaQA 三个任务的数据集上实现了 2-11% 的性能提升。

    Nov, 2019

  • 简单实体中心问题挑战密集检索器

    本文主要研究使用 Wikidata 数据构造的 entity-rich questions 在密集检索模型中表现不佳的问题，并探讨了两种解决方案：第一种解决方法是数据扩充无法解决广义化问题，第二种解决方法是更加强大的 passage encoder 有助于使用专门化的问题编码器来更好地适应问题。

    Sep, 2021

  • R$^3$: 强化学习阅读器 - 排名器用于开放领域问答

    本文提出了一种基于神经网络和增强学习的新型开放领域问答系统，通过信息检索结合阅读理解模型对大规模语料库进行查询，显著提高了多个数据集的表现。

    Aug, 2017

  • 跨语言密集文段检索的多语言问答模型

    本研究提出 Cross-lingual Open-Retrieval Answer Generation (CORA) 模型，它是第一个可以回答跨多种语言问题的问答模型，利用密集型检索算法，与多语言自回归生成模型相结合，即可实现直接在目标语言下回答问题，获得了显著的效果提升，特别是在低资源环境下。

    Jul, 2021

  • GNN-encoder：通过图神经网络学习双编码器架构，用于密集通道检索

    通过引入图神经网络，提出一种 GNN-encoder 模型，以改进密集表示检索模型的效率和性能，并在三个数据集上取得最新的最优效果。

    Apr, 2022

  • 端到端的神经检索器训练，用于开放领域的问答

    本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。

    Jan, 2021

  • 基于密集检索的表格开放领域问答

    本研究针对开放领域问题回答系统的表格数据提出了一种有效的检索方法，并通过训练和挖掘难例等技术，提高了回答的准确性和表现。

    Mar, 2021