低延迟检索的浅交叉编码器

Mar, 2024

Shallow Cross-Encoders for Low-Latency Retrieval

Aleksandr V. Petrov, Sean MacAvaney, Craig Macdonald

TL;DR我们展示了在低延迟情境下，基于较浅的变形器模型（即具有有限层数的变形器）的交叉编码器实际上比全规模模型表现更好，因为它们可以在相同的时间预算内估计更多文档的相关性。我们进一步展示，较浅的变形器模型可能受益于目前成功应用于推荐任务的广义二进制交叉熵 (gBCE) 训练方案。我们在 TREC 深度学习通过排序查询集上的实验中，展示了低延迟环境下较浅和全规模模型的显着改进。

Abstract

transformer-based cross-encoders achieve state-of-the-art effectiveness in text retrieval. However, Cross-Encoders based on large transformer models (such as BERT or T5) are computationally expensive and allow for scoring only a small number of documents within a reasonably small laten

transformer-based cross-encoders shallow transformer models low-latency settings binary cross-entropy (gbce) training scheme tinybert-gbce

发现论文，激发创造

跨编码器在零样本检索中的防御

本文探讨了双编码器（Bi-encoders）和交叉编码器（Cross-encoders）在领域内外的广义能力，并发现了交叉编码器的参数数量和早期查询文档的交互对检索模型的泛化能力起到了重要作用。此外，在几项任务中，交叉编码器比相似规模的双编码器表现更优异，其中最大的交叉编码器比一个最先进的双编码器超过 4 个平均点。最后，我们发现在领域外任务中，使用双编码器作为第一阶段检索器与 BM25 等更简单的检索器相比没有提供优势。

Dec, 2022

大型双编码器是可推广的检索器

本文通过对双编码器进行多阶段训练，并在保持瓶颈嵌入大小不变的同时扩大了双编码器模型的规模，挑战了一种广为流传的观念，即双编码器在一个域上训练后，往往无法推广到其他域的检索任务中。结果表明，我们的双编码器模型 ——GTR，尤其是在域外泛化方面，取得了显著的检索性能提高，并且在 BEIR 数据集上明显优于现有的稀疏和密集的检索模型。最出乎意料的是，我们的消融研究发现，GTR 在数据效率方面非常高效，只需要 MS Marco 10％的监督数据即可实现最佳的跨域检索性能。

Dec, 2021

建立跨语言密集检索模型的迁移学习方法

本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

Jan, 2022

浅层至深层训练用于神经机器翻译

本文研究了通过浅层模型堆叠训练深度编码器的浅层到深层的方法对神经机器翻译模型进行改进，并通过实验表明该方法可以显著提高翻译质量，并在 WMT'16 和 WMT'14 的任务中取得了 30.33 和 43.29 的 BLEU 分数。

Oct, 2020

多语言神经机器翻译：深度编码器与多浅层解码器

对多语种翻译使用深度编码器和浅层解码器 (DEMSD) 的方法，使得在翻译质量没有显著损失的情况下，可获得 1.8 倍的平均速度提升。

Jun, 2022

可学习的后期交互的高效文档排序

提出了一种新颖的学习型后交互模型（LITE），通过解决轻量级评分器的手工设计和访问个体文档令牌嵌入的问题来改善查询 - 文档关联性在信息检索中的性能，并在领域内和零样本重排序任务上优于以前的后交互模型。

Jun, 2024

训练多语言密集检索模型最佳实践

本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

Apr, 2022

多语言文本编码器在跨语言检索中的应用

通过系统实证分析，我们发现预训练的最新型多语言编码器并不能显著超越早期基于跨语言单词嵌入的模型在无监督文档级和句子级交叉语言信息检索方面的性能，但在经过监督学习优化的条件下，可在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法最大程度提升排名质量，还揭示了基于单语数据训练的检索模型会出现 “单语过度拟合” 的现象，这与针对特定目标语言的单语信息检索的交叉语言转移存在显著差异。

Dec, 2021

Poly-encoders: 转换器结构和预训练策略用于快速准确的多句子评分

本文提出了一种新的神经网络编码器 ——Poly-encoder，它通过学习全局注意力特征来提高匹配任务的性能，并对三种常见的匹配方法进行了实验比较，得出了 Poly-encoder 相对于 Cross-encoder 和 Bi-encoder 都更快且更准确的结论，并强调了使用大数据集来进行预训练的重要性。

Apr, 2019

一次就够：一种轻量级的交叉注意力用于快速语句对建模

本文提出了一种高效的 MixEncoder 范式，它包括一种轻量级的交叉关注机制，可以在快速计算的同时实现可比较的性能，大大加速了句子配对。

Oct, 2022