BERM: 训练平衡且可提取的匹配表示以提高密集检索的泛化能力

ACLMay, 2023

BERM: 训练平衡且可提取的匹配表示以提高密集检索的泛化能力

BERM: Training the Balanced and Extractable Representation for Matching to Improve Generalization Ability of Dense Retrieval

PDF

Shicheng Xu, Liang Pang, Huawei Shen, Xueqi Cheng

TL;DR本文介绍了一种通过捕获匹配信号来提高密集检索通用性的新方法 BERM，其中单篇文章分段成多个单元，根据单元级平衡语义和基本匹配单元可提取性的两个要求作为匹配信号的表示约束。实验结果表明，该方法可以有效地改善密集检索训练方法的普适性，而没有额外的推理开销和目标领域数据。

Abstract

dense retrieval has shown promise in the first-stage retrieval process when trained on in-domain labeled datasets. However, previous studies have found that dense retrieval is hard to generalize to unseen domains

dense retrieval generalization matching signal berm unit-level requirements

发现论文，激发创造

域和相关性分离建模用于可适应的密集检索

提出一种名为 Disentangled Dense Retrieval（DDR）的新型 Dense Retrieval 框架来支持 DR 模型的有效和灵活的领域自适应，该框架包括一个 Relevance Estimation Module（REM）和几个 Domain Adaption Modules（DAMs），通过使 REM 和 DAMs 分离，DDR 实现了一种灵活的训练范式，在不同的领域和语言中都表现出比强大的 DR 基线更好的排名性能。

Aug, 2022

短语检索也学会了段落检索

通过研究密集短语检索系统，探讨短语检索是否可以作为粗粒度检索（如段落和文档）的基础，并提出了短语过滤和矢量量化等方法，可以将检索索引的大小减小至原来的 4-10 倍，从而使得密集短语检索成为多粒度检索的实用解决方案。

Sep, 2021

学习检索：如何有效高效地训练密集检索模型

信息检索一直是信息检索研究的重点之一。近年来，提出了 Dense Retrieval（DR）技术来缓解诸如词汇不匹配问题等固有缺陷，但是绝大多数现有 DR 模型的培训都依赖于从语料库中抽样负实例来优化成对损失函数，即不公平的样本，因此提出了 Learning To Retrieve（LTRe）培训技术，它通过预先构建文档索引，并在每个培训迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档，实验表明，LTRe 在有效性方面明显优于所有有竞争力的稀疏和密集基线。它甚至在合理的延迟限制下比 BM25-BERT 级联系统表现更好。

Oct, 2020

密集检索：我们应该使用什么检索粒度？

密集检索是一种获取相关背景或世界知识的开放领域自然语言处理任务的显著方法，检索单元的选择显著影响检索和下游任务的性能，与传统的段落或句子方法相比，基于命题的检索在密集检索中明显优于传统的检索方法，并通过提供与问题相关的信息来改进下游问答任务的性能。

Dec, 2023

面向可扩展嵌入式检索的逐步优化的双粒度文档表示

通过生物粒度文档表示法、稀疏嵌入与压缩感知量化等技术，采用基于深度学习的文档表示和 ANN 搜索技术，设计 Progressive Optimization 框架，实现了大规模的 EB 检索，并在百万级和百亿级的数据集上分别实现了高达 +4.3% 到 +17.5% 的提高检出率，同时在一个搜索平台上实现了较大的回报、回忆和 CTR 这些度量方面的提升。

Jan, 2022

无监督对比学习密集信息检索

本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

Dec, 2021

高效均衡主题感知采样，有效教授密集检索器

本研究旨在将神经网络模型运用到信息检索模型中，引入了一种名为 TAS-Balanced 的高效查询和平衡边缘抽样技术，结合了成对和批内负面教师，实现了单 GPU 训练的 6 层 DR 模型，以及在 TREC 深度学习基准赛中，取得了领先于其他方法的最佳检索成果和召回率表现。

Apr, 2021

RE-Matching：针对零样本关系提取的细粒度语义匹配方法

该研究主要针对零样本关系提取中的语义匹配问题，通过设计一种细粒度语义匹配方法，将句子级相似度分成实体和语境匹配分数，并通过特征蒸馏模块自适应识别与关系无关的特征，从而提高匹配率和推理速度。

Jun, 2023

基于嵌入的零样本检索通过查询生成

本文通过采用两塔架构来建立神经检索模型，并提出了一种新的用于检索的合成数据生成方法，显著优于基于词汇匹配算法的 BM25，并在 5 个测试数据集中平均提高 Recall@1 指标 2.45 个点。

Sep, 2020

匹配空缺：分布相似性用于关系学习

通过建立基于 Harris 的分布式假设的关系模型，以及最近的文本表示学习（特别是 BERT），仅从实体相关的文本中构建任务无关的关系表示，我们排除了 FewRel 的任何训练数据，证明了这些表示在关系提取方面的显著优势。我们还表明，初始化为我们的任务无关表示，然后在监督关系提取数据集上进行调整的模型，在 SemEval 2010 任务 8、KBP37 和 TACRED 上显著优于以前的方法。

Jun, 2019