SeDR: 面向长文档的片段表示学习与密集检索

Nov, 2022

SeDR: 面向长文档的片段表示学习与密集检索

SeDR: Segment Representation Learning for Long Documents Dense Retrieval

Junying Chen, Qingcai Chen, Dongfang Li, Yutao Huang

TL;DR通过提出基于区间表征的密集检索技术（SeDR），采用区间交互 Transformer 编码超长的文档，并提出延迟缓存负样本的方法，提高了文档的表征质量和检索性能。在 MS MARCO 和 TREC-DL 数据集上的实验证明了该方法在长文档检索中的优越性。

Abstract

Recently, dense retrieval (DR) has become a promising solution to document retrieval, where document representations are used to perform effective and efficient semantic search. However, DR remains challenging on long documents, due to the quadratic complexity of its Transformer-based

dense retrieval segment representation learning long document retrieval segment-interaction transformer late-cache negative

发现论文，激发创造

生成式密集检索：内存可能成为负担

提出了生成检索（GR）和生成稠密检索（GDR）两种机制，通过克服记忆机制的精度、记忆混淆和记忆更新成本等问题，在小规模语料库中实现了较好的检索性能和可扩展性。

Jan, 2024

域和相关性分离建模用于可适应的密集检索

提出一种名为 Disentangled Dense Retrieval（DDR）的新型 Dense Retrieval 框架来支持 DR 模型的有效和灵活的领域自适应，该框架包括一个 Relevance Estimation Module（REM）和几个 Domain Adaption Modules（DAMs），通过使 REM 和 DAMs 分离，DDR 实现了一种灵活的训练范式，在不同的领域和语言中都表现出比强大的 DR 基线更好的排名性能。

Aug, 2022

基于已学稀疏检索的长文档适应性

本研究探讨了通过使用近似评分适应长文档的已有聚合方法、并给出了将顺序依赖模型（SDM）应用于学习到的稀疏检索（LSR）的两种改进方法：ExactSDM 和 SoftSDM。结果表明，这些改进方法优于现有的 LSR 聚合方法，并且 SoftSDM 对 ExactSDM 并没有提供任何性能优势。这表明，软接近匹配在 LSR 中不是建模词语依赖性的必要条件。

May, 2023

使用模块化 Re-ranker 进行长文档重新排名

本文提出了一种新的长文档重新排序方法，通过利用自注意力机制和模块化 Transformer 框架建立查询到文档的交互模型，避免了编码过程中低维度表示带来的信息瓶颈，实现了从全部文档中提取重要信息的目的，并在 Robust04 和 ClueWeb09 等数据集上实现了有效的重新排序。

May, 2022

学习检索：如何有效高效地训练密集检索模型

信息检索一直是信息检索研究的重点之一。近年来，提出了 Dense Retrieval（DR）技术来缓解诸如词汇不匹配问题等固有缺陷，但是绝大多数现有 DR 模型的培训都依赖于从语料库中抽样负实例来优化成对损失函数，即不公平的样本，因此提出了 Learning To Retrieve（LTRe）培训技术，它通过预先构建文档索引，并在每个培训迭代中在没有负样本采样的情况下执行全检索，从而在整个语料库中检索相关文档，实验表明，LTRe 在有效性方面明显优于所有有竞争力的稀疏和密集基线。它甚至在合理的延迟限制下比 BM25-BERT 级联系统表现更好。

Oct, 2020

使用深度查询交互学习多样的文档表示进行密集检索

提出了一种新的密集检索模型，使用深度查询交互学习多样的文档表示，通过生成的伪查询对每个文档进行编码，以获得查询信息和多视角的文档表示，不仅具有类似于原始双编码器模型的高推理效率，还可以在文档编码中实现深入的查询 - 文档交互并提供多方面的表示来更好地匹配不同的查询。

Aug, 2022

少样本对话密集检索

本文提出了 ConvDR，一个用于多轮对话的稠密检索系统，它通过学习上下文化嵌入，仅使用嵌入点积来检索文档，并使用教师 - 学生框架赋予 ConvDR 少样本学习能力。在 TREC CAsT 和 OR-QuAC 上的实验表明，ConvDR 在少样本和完全监督的情况下表现优于之前的系统，并且比较高效。

May, 2021

ERNIE-Doc: 一种用于回顾性长文档建模的 Transformer

提出了基于具有回归的 Transformers 的文档级语言预训练模型 ERNIE-Doc，借助回顾性馈送机制和增强的回归机制，提高了其处理长文档数据的能力。实验证明，在英文和中文文档级任务上，ERNIE-Doc 在文本分类和问题回答等任务上表现出比其他模型更优秀的语言理解能力。

Dec, 2020

多视角文档表示学习在开放域密集检索中的应用

本文提出了一种多视角文档表示学习框架，通过生成多个视图嵌入来表示文档，并通过全局 - 局部 loss 函数来防止多视图嵌入坍塌到同一个嵌入中，实现了稳定性的匹配，在密集检索方面取得了最新的成果。

Mar, 2022

深度检索：学习大规模推荐系统的可检索结构

本文中介绍了 Deep Retrieval (DR) 算法，通过学习可检索结构来获取最优推荐结果，其编码所有候选项入离散潜在空间，接着使用当前模型下的光束搜索来检索前置候选项，以实现重新排名。实验证明，使用 DR 算法，在两个公共数据集上能够实现近乎于暴力基线的准确性，并且在实时生产推荐系统上，高度优化的 DR 算法显著优于 ANN 基准线。DR 是非 ANN 的推荐算法在工业推荐系统规模的首批成功部署之一。

Jul, 2020