ACLJun, 2023

通过嵌入对齐的查询编码器蒸馏是提升密集检索器在线效率的强大基准方法

PDF
TL;DR本文中，我们提出了一个简单的基线方法，使用不对称架构来提高 Dual Encoder 检索器的效率。我们发现即使使用只有两层的 BERT-based 查询编码器，通过无监督的蒸馏和适当的学生初始化，仍然可以在 BEIR 基准测试中保持 92.5％的 DE 性能。我们希望我们的研究可以鼓励社区重新评估方法复杂性和性能提升之间的权衡。
dual encoderdense passage retrievalasymmetric architectureunsupervised distillationbert-based query encoder
发现论文，激发创造
  • ERNIE-Search: 通过自我即时蒸馏将交叉编码器与双编码器相结合，实现密集型段落检索

    本文提出了一种新颖的蒸馏方法，将自然语言处理模型中的交互信息更好地应用于开放领域的问答问题，并通过级联蒸馏方法优化成绩，从而在 Open-Domain QA 基准上取得了优于强基线模型的最优结果。

    May, 2022

  • 为实体检索学习密集表示

    使用双编码器模型，在相同的密集向量空间中对实体和提及进行编码，并通过近似最近邻搜索检索候选实体，从而实现实体链接。通过使用维基百科中的锚文本链接训练双编码器，该方法优于离散别名表和 BM25 基线，并且与标准 TACKBP-2010 数据集中最佳结果相当，还可以快速检索候选者，并可以很好地推广到从 Wikinews 推导出的新数据集。在建模方面，我们演示了无监督的负采矿算法在这一任务中的重要作用。

    Sep, 2019

  • 快速稠密检索器消耗 KALE：针对非对称双编码器的嵌入后 Kullback Leibler 对齐

    本文讨论了引入结构压缩和编码器大小不对称性来改善基于语言模型的密集检索系统的推理延迟问题，并引入了 Kullback Leibler 嵌入对齐（KALE）方法以提高密集检索方法的推理效率。使用 KALE 和不对称训练，我们可以生成优于 DistilBERT 且推理速度快 3 倍的模型。

    Mar, 2023

  • ED2LM: 用于更快文档重新排序推理的 Encoder-Decoder 到语言模型

    提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交叉注意模型快 6.8 倍，并且能取得相当的效果。

    Apr, 2022

  • 多视角增强蒸馏：改进实体链接

    本篇论文提出了一种多视图增强蒸馏框架，通过跨编解码器到对编解码器的多精细和提及相关部分的知识传输，从而有效地学习与不同提及相匹配的实体表示，实验表明该方法在几个实体链接基准上实现了最优性能。

    May, 2023

  • 可学习的后期交互的高效文档排序

    提出了一种新颖的学习型后交互模型（LITE），通过解决轻量级评分器的手工设计和访问个体文档令牌嵌入的问题来改善查询 - 文档关联性在信息检索中的性能，并在领域内和零样本重排序任务上优于以前的后交互模型。

    Jun, 2024

  • 面向交谈式搜索的上下文化查询嵌入

    本文以学习到的密集表示为基础，描述了一种紧凑而有效的模型，用于对话搜索中的低延迟段落检索。 通过将对话查询重构直接整合到密集检索模型中，我们提出了一种新方法来解决现有流程的问题。 在构建具有伪相关性标签的数据集的基础上，证明了该模型可用于会话检索和开放域问答数据集，最后通过改进的检索模型学习到的特性，支持混合检索和错误分析。

    Apr, 2021

  • 通过生成伪查询嵌入以改善密集检索的文档表示

    本论文提出了一种基于聚类的检索模型，通过迭代聚类过程来模拟查询，并将文档表示为多个伪查询，通过两步得分计算程序优化匹配函数，实现了高效的近似最近邻搜索，达到了最先进的结果。

    May, 2021

  • 无相关标签的精确零样本密集检索

    本篇论文中，我们提出一种基于 Hypothetical Document Embeddings (HyDE) 的零样本密集检索方法，其中通过无监督编码器将虚构文档编码为向量，并在文本相似性检索中表现出强大的性能。

    Dec, 2022

  • 基于交叉编码器的自适应检索与可扩展索引的 k-NN 搜索

    通过稀疏矩阵因子分解方法，我们的研究提出了一种高效计算潜在查询和项目嵌入以近似 CE 分数的方法，并通过近似 CE 相似性执行 k-NN 搜索。我们的方法在提高检索召回率的同时，实现了 CUR-based 和 DE-based 方法的 100 倍和 5 倍的速度提升。

    May, 2024