Dec, 2022

使用文本扩展的密集检索课程采样

PDF
TL;DR本文提出了一种课程抽样策略来对原始的双编码器的不足进行改进，使得检索模型能够学习将注意力从文档扩展至文档和查询，从而获得高质量的查询知情文档表示，实验结果表明，我们的方法优于以前的密集检索方法。
dual-encoderdense retrievalquery-informed representationscurriculum sampling strategypassage retrieval
发现论文，激发创造
  • 使用深度查询交互学习多样的文档表示进行密集检索

    提出了一种新的密集检索模型，使用深度查询交互学习多样的文档表示，通过生成的伪查询对每个文档进行编码，以获得查询信息和多视角的文档表示，不仅具有类似于原始双编码器模型的高推理效率，还可以在文档编码中实现深入的查询 - 文档交互并提供多方面的表示来更好地匹配不同的查询。

    Aug, 2022

  • 通过生成伪查询嵌入以改善密集检索的文档表示

    本论文提出了一种基于聚类的检索模型，通过迭代聚类过程来模拟查询，并将文档表示为多个伪查询，通过两步得分计算程序优化匹配函数，实现了高效的近似最近邻搜索，达到了最先进的结果。

    May, 2021

  • 文本检索中的稀疏、密集和注意力表示

    该研究探讨了双编码器的检索能力，并将其与稀疏词袋模型和注意力神经网络进行了比较。研究发现固定长度编码的能力存在限制，具体表现为编码维数，金标和排名较低文件之间的边际，以及文档长度。在此基础上，该研究提出了一种结合了双编码器的高效性和注意力结构的表达能力的简单神经模型，并探索了稀疏 - 密集混合模型以提高检索精度，这些模型在大规模检索中胜过强有力的替代方案。

    May, 2020

  • Query2doc: 大语言模型的查询扩展

    该研究提出了一种称为 query2doc 的简单而有效的查询扩展方法，通过利用大型语言模型生成伪文档并将其扩展到查询中，从而提高了信息检索系统在 ad-hoc IR 数据集上的性能，如 MS-MARCO 和 TREC DL。

    Mar, 2023

  • AugTriever：可扩展的数据增强无监督密集检索

    本文提出了无需注释的可扩展伪查询文档对训练方法，包括查询提取和转化查询生成两种。通过使用这些方法，研究展示出比其他方法更好的检索表现。

    Dec, 2022

  • 查询预测扩展文档

    该研究提出了一种将搜索引擎文档扩展为与其内容相关或代表性术语的简单方法，并利用基于 Vanilla 序列到序列模型的数据集对其进行扩展，结合高效的重新排序组件，实现了两种检索任务的最高效结果。

    Apr, 2019

  • 产品问答中高效易于解释的异构数据信息检索

    通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

    May, 2024

  • 使用插值和扰动增强密集检索中的文档表示

    提出一种 DAR 方案，通过对文档的内插和扰动来增强文档表示，实现无监督学习的稠密检索，显著优于相关基线。

    Mar, 2022

  • 高效均衡主题感知采样，有效教授密集检索器

    本研究旨在将神经网络模型运用到信息检索模型中，引入了一种名为 TAS-Balanced 的高效查询和平衡边缘抽样技术，结合了成对和批内负面教师，实现了单 GPU 训练的 6 层 DR 模型，以及在 TREC 深度学习基准赛中，取得了领先于其他方法的最佳检索成果和召回率表现。

    Apr, 2021

  • 基于伪相关反馈的多重表示密集检索

    本研究探讨了基于伪相关反馈的多重嵌入密集检索方法的潜力。通过从第一遍密集检索中确定的伪相关文件集中提取代表性反馈嵌入，然后将其添加到查询表示中，证明了这些附加反馈嵌入不仅能够提高重新排序的有效性，还能提高附加密集检索操作的效率。

    Jun, 2021