SIGIRMay, 2022

使用模块化 Re-ranker 进行长文档重新排名

PDF
TL;DR本文提出了一种新的长文档重新排序方法，通过利用自注意力机制和模块化 Transformer 框架建立查询到文档的交互模型，避免了编码过程中低维度表示带来的信息瓶颈，实现了从全部文档中提取重要信息的目的，并在 Robust04 和 ClueWeb09 等数据集上实现了有效的重新排序。
long document re-rankingneural re-rankersbertquery-to-document interactiontransformer
发现论文，激发创造
  • 使用 Longformer 进行 MS MARCO 文档重排任务

    本文研究了使用传统信息检索方法进行初检索，然后采用神经网络再排序模型的两步文档排序，使用了适合长文档的 BERT 模型变种 Longformer 在 MS MARCO 文档再排序任务上获得了最佳性能。

    Sep, 2020

  • 基于模块化 Transformer 的排名框架

    本篇论文将 Transformer 排名模型模块化，提出了一种轻量化的在线交互方案，大幅提升了排名的速度和可解释性。

    Apr, 2020

  • 通过综合评估和排行榜了解长文档排名模型的性能

    本研究综合评估了 13 个模型在排名长文档方面的功能，包括两种专用 Transformer 模型，同时分析了训练和比较这些模型的几个困难。结果表明，虽然 Robust04 和 MS MARCO 文件经常被用于长文件模型的基准测试，但我们认为它们并不特别有用。特别是在考虑到 relevant passages 的分布时，Simple FirstP Baseline 很有效。

    Jul, 2022

  • 使用预训练的序列到序列模型进行文档排名

    通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于 BERT 等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

    Mar, 2020

  • 文档内级联：学习选择用于神经网络文档排序的片段

    采用基于知识蒸馏的 ESM 模型剪枝候选文档以减少计算量，从而降低了基于 ETM 模型的查询延迟并提高了检索效果。

    May, 2021

  • ED2LM: 用于更快文档重新排序推理的 Encoder-Decoder 到语言模型

    提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交叉注意模型快 6.8 倍，并且能取得相当的效果。

    Apr, 2022

  • BERT 的多阶段文档排名

    利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • 跨编码器重新排序中基于多维相关性语句的文档增强

    该论文提出了一种新颖的方法来考虑跨编码器重新排序中除主题外的多个相关性维度，并实验结果表明该方法在已公开数据集上的表现优于基于聚合和跨编码器的重新排序方法。

    Jun, 2023

  • BERT 的文章重新排序

    本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

    Jan, 2019

  • 对长文本进行的本地自注意力机制以提高文档检索效率

    本文提出了一种局部自注意力机制，用于解决检索过程中考虑前 n 个单词导致系统检索长文档时出现偏差的问题，并在 TREC 2019 深度学习排行榜任务上取得了显著的检索质量提升。

    May, 2020