SIGIRMay, 2021

文档内级联：学习选择用于神经网络文档排序的片段

PDF
TL;DR采用基于知识蒸馏的 ESM 模型剪枝候选文档以减少计算量，从而降低了基于 ETM 模型的查询延迟并提高了检索效果。
neural document re-rankingpre-trained language modelsintra-document cascading strategyetmquery latency
发现论文，激发创造
  • 使用模块化 Re-ranker 进行长文档重新排名

    本文提出了一种新的长文档重新排序方法，通过利用自注意力机制和模块化 Transformer 框架建立查询到文档的交互模型，避免了编码过程中低维度表示带来的信息瓶颈，实现了从全部文档中提取重要信息的目的，并在 Robust04 和 ClueWeb09 等数据集上实现了有效的重新排序。

    May, 2022

  • 神经级联多提及学习用于阅读理解

    本文提出了一种以级联模型组合轻量级的前馈网络为基础构建的答案提取算法，可以从文本中获取多次对同一问题的提及与信息聚合，并在 TrivaQA 数据集上表现优异。

    Nov, 2017

  • ED2LM: 用于更快文档重新排序推理的 Encoder-Decoder 到语言模型

    提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交叉注意模型快 6.8 倍，并且能取得相当的效果。

    Apr, 2022

  • 利用跨架构知识蒸馏改进高效神经排序模型

    该研究探讨了如何提高基于 BERT 和非 BERT 的不同命令匹配体系结构的目标性能，提出了一种跨体系结构教授的知识蒸馏过程，使用 Margin-MSE 损失相对输出分数进行适应，从而显著提高再排序效果。同时，研究发布了教师 - 分数培训文件的软件包，以造福社区。

    Oct, 2020

  • 多篇文档阅读理解的深度级联模型

    本研究提出一种深度串级学习模型来平衡在线问答系统的效能和效率之间的基本权衡，在多文档的 MRC 场景中取得更好的效果并能够在不到 50 毫秒内稳定地为数百万日请求提供服务。

    Nov, 2018

  • 使用预训练的序列到序列模型进行文档排名

    通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于 BERT 等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

    Mar, 2020

  • BERT 的文章重新排序

    本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

    Jan, 2019

  • 使用 TF-Ranking 中的 BERT 进行排序学习

    该论文提出了一种利用 BERT 表示和 learning-to-rank 模型进行文档排序的机器学习算法。在公共基准测试中，采用这种方法可以取得更好的表现。最新的实验使用 RoBERTa 和 ELECTRA 模型，取得了较之其它方法更好的排名成绩。

    Apr, 2020

  • ColBERT: 通过 BERT 的上下文化后交互实现高效有效的段落搜索

    ColBERT 是一种基于深度语言模型的信息检索方法，通过实现一种廉价而又强大的互动机制，将查询和文档分别进行编码，然后为它们建立细粒度相似性，从而利用深度语言模型的表现力，同时加快查询处理。

    Apr, 2020

  • 级联变压器：用于高效答案句选择的应用

    本文介绍了级联变压器模型的简单而有效技术，其中通过一系列排名器来修剪批处理中的一部分候选项，从而在推理时显着提高吞吐量，与现有模型相比，我们的方法在不影响准确性的情况下将计算量减少了 37％，并在两个英文问答数据集上进行了评估。

    May, 2020