Dec, 2022

跨编码器在零样本检索中的防御

PDF
TL;DR本文探讨了双编码器（Bi-encoders）和交叉编码器（Cross-encoders）在领域内外的广义能力，并发现了交叉编码器的参数数量和早期查询文档的交互对检索模型的泛化能力起到了重要作用。此外，在几项任务中，交叉编码器比相似规模的双编码器表现更优异，其中最大的交叉编码器比一个最先进的双编码器超过 4 个平均点。最后，我们发现在领域外任务中，使用双编码器作为第一阶段检索器与 BM25 等更简单的检索器相比没有提供优势。
发现论文，激发创造
  • 大型双编码器是可推广的检索器

    本文通过对双编码器进行多阶段训练，并在保持瓶颈嵌入大小不变的同时扩大了双编码器模型的规模，挑战了一种广为流传的观念，即双编码器在一个域上训练后，往往无法推广到其他域的检索任务中。结果表明，我们的双编码器模型 ——GTR，尤其是在域外泛化方面，取得了显著的检索性能提高，并且在 BEIR 数据集上明显优于现有的稀疏和密集的检索模型。最出乎意料的是，我们的消融研究发现，GTR 在数据效率方面非常高效，只需要 MS Marco 10％的监督数据即可实现最佳的跨域检索性能。

    Dec, 2021

  • 低延迟检索的浅交叉编码器

    我们展示了在低延迟情境下，基于较浅的变形器模型（即具有有限层数的变形器）的交叉编码器实际上比全规模模型表现更好，因为它们可以在相同的时间预算内估计更多文档的相关性。我们进一步展示，较浅的变形器模型可能受益于目前成功应用于推荐任务的广义二进制交叉熵 (gBCE) 训练方案。我们在 TREC 深度学习通过排序查询集上的实验中，展示了低延迟环境下较浅和全规模模型的显着改进。

    Mar, 2024

  • 多语言文本编码器在跨语言检索中的应用

    通过系统实证分析，我们发现预训练的最新型多语言编码器并不能显著超越早期基于跨语言单词嵌入的模型在无监督文档级和句子级交叉语言信息检索方面的性能，但在经过监督学习优化的条件下，可在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法最大程度提升排名质量，还揭示了基于单语数据训练的检索模型会出现 “单语过度拟合” 的现象，这与针对特定目标语言的单语信息检索的交叉语言转移存在显著差异。

    Dec, 2021

  • 面向任务的特定领域优化，用于高效和稳健的对于开放域问答的密集检索

    提出了一种新的体系结构，Task-aware Specialization for dense Retrieval (TASER)，该模型通过交错共享模块和专用模块在单个编码器中实现参数共享，能够在使用密集检索模型时提高准确性并显著减少了参数数量，在五个问答数据集上实验表明，与双编码器密集检索器相比，TASER 能够在使用大约 60% 的参数的同时实现卓越的准确性。

    Oct, 2022

  • 训练多语言密集检索模型最佳实践

    本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

    Apr, 2022

  • 回归基础：提升密集编码器领域外检索的简单方法

    通过改进训练过程，使用参数高效的方法和适当的负样本，可以提高密集编码器在训练时的泛化能力，从而在单一数据集上训练时实现有效的泛化。

    Nov, 2023

  • 动态语料库上的持续更新生成式检索

    本研究介绍了一个名为 STREAMINGIR 的新基准，用于评估检索方法对于动态变化语料库（如实时问答）的泛化能力，并比较了双编码器和生成式检索的性能和效率。结果表明，生成式检索在不同程度的监督下表现出不同的性能，但是参数高效的措施可以在某些方面提高其性能并与双编码器的性能和效率具有竞争力。

    May, 2023

  • 基于稠密实体检索的可扩展零样本实体链接

    本文介绍一种基于 BERT 的实体链接模型，采用两阶段的零样本链接算法，通过双编码器进行实体检索，并进一步用交叉编码器对候选实体进行重排序。经实验证明，这种方法不需要显式实体嵌入或手动工程化的实体表，已超越最近的零样本评估和已建立的非零样本评估（如 TACKBP-2010），并且具有速度快的优点。

    Nov, 2019

  • Trans-Encoder: 通过自我和相互蒸馏进行无监督句对建模

    该研究提出了一种完全无监督学习的句子表示模型 Trans-Encoder，融合了 Bi-Encoder 和 Cross-Encoder 两种学习范式，在多个 benchmark 上表现优于现有的无监督句子编码器。

    Sep, 2021

  • Poly-encoders: 转换器结构和预训练策略用于快速准确的多句子评分

    本文提出了一种新的神经网络编码器 ——Poly-encoder，它通过学习全局注意力特征来提高匹配任务的性能，并对三种常见的匹配方法进行了实验比较，得出了 Poly-encoder 相对于 Cross-encoder 和 Bi-encoder 都更快且更准确的结论，并强调了使用大数据集来进行预训练的重要性。

    Apr, 2019