EMNLPOct, 2022

通过桥接训练 - 推理差距实现密集短语检索

PDF
TL;DR本研究探讨了如何通过有效验证缩小训练与检索之间的差距并提高稠密检索的性能，在密集短语检索中取得了 2~3 个关键短语检索准确度和 2~4 个段落检索准确度的提升。
dense retrieverstraining objectivesdense phrase retrievalvalidationtraining strategies
发现论文，激发创造
  • 大规模学习短语的密集表示

    该研究展示了从阅读理解任务的监督学习中学习到短语的密集表示，并使用负采样方法提高性能，能够取代当前依赖于稀疏表示的短语检索模型，实现更好的开放域问答准确性并被用作密集知识库。

    Dec, 2020

  • 短语检索也学会了段落检索

    通过研究密集短语检索系统，探讨短语检索是否可以作为粗粒度检索（如段落和文档）的基础，并提出了短语过滤和矢量量化等方法，可以将检索索引的大小减小至原来的 4-10 倍，从而使得密集短语检索成为多粒度检索的实用解决方案。

    Sep, 2021

  • 无监督对比学习密集信息检索

    本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

    Dec, 2021

  • AugTriever：可扩展的数据增强无监督密集检索

    本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

    Dec, 2022

  • 对话响应选择中的密集检索探索

    该研究提出了一种利用密集检索模型从包含数百万个响应的大型语料库或甚至仅由未配对句子组成的非平行语料库中直接选择适当响应的解决方案，并通过一系列专门设计的学习策略实现其在全范围评估设置下的优越性。

    Oct, 2021

  • 面向大规模检索的词库增强密集检索器 (LED)

    本研究提出一种基于知识蒸馏的方法，将富有知识的词典嵌入模型对齐到密集检索模型中，从而在第一阶段检索中取得稳定且显著的提高。在三组公开数据集上的实验证明了该模型的有效性，并且与标准排名器蒸馏相结合可以进一步提高检索效果。

    Aug, 2022

  • 学习检索：如何有效高效地训练密集检索模型

    信息检索一直是信息检索研究的重点之一。近年来，提出了 Dense Retrieval（DR）技术来缓解诸如词汇不匹配问题等固有缺陷，但是绝大多数现有 DR 模型的培训都依赖于从语料库中抽样负实例来优化成对损失函数，即不公平的样本，因此提出了 Learning To Retrieve（LTRe）培训技术， 它通过预先构建文档索引，并在每个培训迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档，实验表明，LTRe 在有效性方面明显优于所有有竞争力的稀疏和密集基线。它甚至在合理的延迟限制下比 BM25-BERT 级联系统表现更好。

    Oct, 2020

  • 具有相关感知对比预训练的无监督密集检索

    本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。

    Jun, 2023

  • 密集检索：我们应该使用什么检索粒度？

    密集检索是一种获取相关背景或世界知识的开放领域自然语言处理任务的显著方法，检索单元的选择显著影响检索和下游任务的性能，与传统的段落或句子方法相比，基于命题的检索在密集检索中明显优于传统的检索方法，并通过提供与问题相关的信息来改进下游问答任务的性能。

    Dec, 2023

  • 突出短语感知的密集检索：密集检索器是否能模仿稀疏检索器？

    介绍了一种称为 Salient Phrase Aware Retriever (SPAR) 的密集型检索器，在保留稀疏模型的词法匹配能力的同时，通过加入类似于稀疏模型的词汇模型 Lambda 来提高其检索性能。SPAR 在多个任务上表现出卓越性能，包括问答数据集，MS MARCO 段落检索以及 EntityQuestions 和 BEIR 评估。

    Oct, 2021