Feb, 2023

通过上下文化的后期交互提高神经重排器的超领域泛化能力

PDF
TL;DR本文探讨了将后期交互用于神经重排器的有用性，以提高其在分布外数据集中的性能，该方法能带来额外的 5％改进，而无需增加太多的延迟和没有影响其在域内数据上的效果，通过实验和分析，发现这一结论与模型大小和不同类型的第一阶段检索器一致，并且这种改进在较长的查询上更为显著。
information retrievalmulti-vectorneural rerankerslate interactiontoken-level information
发现论文，激发创造
  • ColBERTv2: 通过轻量的后期交互实现有效和高效的检索

    本研究介绍了 ColBERTv2，结合积极的残差压缩机制和去噪监督策略，以提高对最晚交互的质量和占用空间的同时评估了广泛的基准。

    Dec, 2021

  • 引入 Neural Bag of Whole-Words with ColBERTer: 使用增强的 Reduction 进行上下文化的后期交互

    本文提出了 ColBERTer，这是一个使用上下文化的 ColBERT 模型与增强的减少方法的神经检索模型。它采用了单向量检索、多向量细化和可选词汇匹配组件，其多向量组件通过学习每个文档中的项的唯一整词表示并学习识别和删除对于有效评分来说不必要的词表示，可以将文档的存储向量数量减少 2.5 倍。结果表明，ColBERTer 可以提高检索结果的可解释性，同时保持检索结果的有效性，并且具有多任务学习的特点。

    Mar, 2022

  • 可学习的后期交互的高效文档排序

    提出了一种新颖的学习型后交互模型（LITE），通过解决轻量级评分器的手工设计和访问个体文档令牌嵌入的问题来改善查询 - 文档关联性在信息检索中的性能，并在领域内和零样本重排序任务上优于以前的后交互模型。

    Jun, 2024

  • 神经信息检索推理时重排反馈

    本文提出了利用轻量级的推理，将 re-ranker 的命中率反馈给 retriever 的方法，从而提高检索召回率。实验证明，此方法在多个领域、语言和模态下均明显提高了检索召回率。

    May, 2023

  • 使用模块化 Re-ranker 进行长文档重新排名

    本文提出了一种新的长文档重新排序方法，通过利用自注意力机制和模块化 Transformer 框架建立查询到文档的交互模型，避免了编码过程中低维度表示带来的信息瓶颈，实现了从全部文档中提取重要信息的目的，并在 Robust04 和 ClueWeb09 等数据集上实现了有效的重新排序。

    May, 2022

  • 通过向量化上下文改进基于检索的开放领域问答

    在大语言模型的时代，应用检索增强生成等技术可以更好地解决开放领域问题回答问题。本文提出了一种通用方便的方法来覆盖更长的上下文，以在开放领域的问答任务中应用。我们的实验证明，在精调后，在两个保留数据集、四个留存数据集和两个上下文学习设置中，性能得到了提高。

    Apr, 2024

  • ColBERT: 通过 BERT 的上下文化后交互实现高效有效的段落搜索

    ColBERT 是一种基于深度语言模型的信息检索方法，通过实现一种廉价而又强大的互动机制，将查询和文档分别进行编码，然后为它们建立细粒度相似性，从而利用深度语言模型的表现力，同时加快查询处理。

    Apr, 2020

  • 优化检索增强生成环境中的异常检测

    我们在这篇论文中关注减小问题回答系统所需的提示上下文的大小和提高其质量的方法。我们通过使用嵌入向量的距离，提出并评估了几种识别离群点的方法，该嵌入向量是从向量数据库中检索得到的，以及与质心和查询向量的距离有关的特征。通过比较检索到的大型语言模型回答与使用 OpenAI GPT-4o 模型获得的基本答案的相似性进行评估，发现随着问题和答案的复杂性增加，取得了最大的改进。

    Jul, 2024

  • CODER: 通过上下文文档嵌入重新排序的有效优化框架

    通过引入 Contextual Document Embedding Reranking (CODER)，可以显著提高基于对比学习的密集检索模型的检索性能，特别是当更多的相关信息可用时，如在 TripClick 集合中观察到的情况下，可以获得大幅度的改进并取得新的最优结果。

    Dec, 2021

  • 利用有限样本文档重新排序，加入相关反馈来改进信息检索

    本研究探讨如何将相关性反馈直接集成到神经重排模型中，使用 kNN 方法和交叉编码器模型，通过在现有信息检索数据集上的实验，证明了这种方法能够大幅提高神经重排模型的性能。

    Oct, 2022