轻量级混合检索器的效率和泛化性研究

Oct, 2022

轻量级混合检索器的效率和泛化性研究

A Study on the Efficiency and Generalization of Light Hybrid Retrievers

Man Luo, Shashank Jain, Anchit Gupta, Arash Einolghozati, Barlas Oguz...

TL;DR本文提出了一种基于索引高效的密集检索器（DrBoost）的轻量级混合检索器和一个更轻的密集检索器（LITE）来减少混合检索器的内存占用，并探究了轻量级混合检索器在域外泛化和对抗性攻击鲁棒性方面的表现。相比较以前的混合检索器，我们的 Hybrid-LITE 检索器在保持 98.0% 性能的同时节约了 13 的内存使用。

Abstract

Existing hybrid retrievers which integrate sparse and dense retrievers, are indexing-heavy, limiting their applicability in real-world on-devices settings. We ask the question "Is it possible to reduce the indexing memory of hybrid retrievers without sacrificing performance?" Driven by

hybrid retriever indexing memory dense retriever light hybrid retriever robustness

发现论文，激发创造

面向大规模检索的词库增强密集检索器 (LED)

本研究提出一种基于知识蒸馏的方法，将富有知识的词典嵌入模型对齐到密集检索模型中，从而在第一阶段检索中取得稳定且显著的提高。在三组公开数据集上的实验证明了该模型的有效性，并且与标准排名器蒸馏相结合可以进一步提高检索效果。

Aug, 2022

Boosted Dense Retriever

提出了一种名为 DrBoost 的密集检索集成算法，采用逐步训练的方式进行，具有相比标准密集检索模型更紧凑且性能相当的优势，尤其在粗量化下具有出乎意料的表现，可以通过降低延迟和带宽需求，实现更便宜的部署。

Dec, 2021

通过桥接训练 - 推理差距实现密集短语检索

本研究探讨了如何通过有效验证缩小训练与检索之间的差距并提高稠密检索的性能，在密集短语检索中取得了 2~3 个关键短语检索准确度和 2~4 个段落检索准确度的提升。

Oct, 2022

突出短语感知的密集检索：密集检索器是否能模仿稀疏检索器？

介绍了一种称为 Salient Phrase Aware Retriever (SPAR) 的密集型检索器，在保留稀疏模型的词法匹配能力的同时，通过加入类似于稀疏模型的词汇模型 Lambda 来提高其检索性能。SPAR 在多个任务上表现出卓越性能，包括问答数据集，MS MARCO 段落检索以及 EntityQuestions 和 BEIR 评估。

Oct, 2021

如何训练你的龙：向通用密集检索的多样化增强

通过数据增强、对比学习等方法，本研究提出了一种新的稠密检索算法 DRAGON，使其在有监督检索和零样本检索方面均达到了最新水平，并与复杂的后期交互模型竞争。

Feb, 2023

产品问答中高效易于解释的异构数据信息检索

通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

May, 2024

多国检索器：密集检索表示分析

压缩源文件并以（可能会有损失的）矢量表示的密集检索器将所保存的信息与丢失的信息相比，并分析其对下游任务的影响。通过在带有 25 个随机初始化的 MultiBERT 检查点上训练的 MultiContrievers，我们对密集检索器捕获的信息进行了第一次分析。通过信息论探测，我们测量了从类似维基百科的文件的 Contriever 矢量中是否可以提取特定信息，如性别和职业。我们还研究了提取性与性能和性别偏见之间的关系，以及这些结果对随机初始化和数据洗牌的敏感性。我们发现：（1）Contriever 模型的提取性明显增加，但提取性通常与基准性能相关性较差；（2）存在性别偏见，但不是由 Contriever 表示引起的；（3）对随机初始化和数据洗牌的敏感性较高，因此未来的检索研究应该在更广泛的范围内进行测试。

Feb, 2024

无相关标签的精确零样本密集检索

本篇论文中，我们提出一种基于 Hypothetical Document Embeddings (HyDE) 的零样本密集检索方法，其中通过无监督编码器将虚构文档编码为向量，并在文本相似性检索中表现出强大的性能。

Dec, 2022

简单实体中心问题挑战密集检索器

本文主要研究使用 Wikidata 数据构造的 entity-rich questions 在密集检索模型中表现不佳的问题，并探讨了两种解决方案：第一种解决方法是数据扩充无法解决广义化问题，第二种解决方法是更加强大的 passage encoder 有助于使用专门化的问题编码器来更好地适应问题。

Sep, 2021

AugTriever：可扩展的数据增强无监督密集检索

本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

Dec, 2022