Oct, 2022

利用语言模型的语境线索采样进行查询扩展

PDF
TL;DR本文提出了一种结合了有效过滤策略和基于上下文生成概率的检索文档融合的词汇匹配的方法，在减小索引大小的同时，提高了检索准确性；同时，在 end-to-end QA 模型中，该方法也能取得最高的 Exact-Match 分数。
query expansionlanguage modelsrelevancediversityend-to-end qa
发现论文，激发创造
  • MILL：零 - shot 查询扩展的大语言模型相互验证

    本研究提出了一种基于大型语言模型的互相验证框架，用于查询扩展，通过检索和生成的文件相互补充来改善查询扩展的效果，并在三个信息检索数据集上进行了大量实验证实，结果显示我们的方法明显优于其他对照组。

    Oct, 2023

  • Query2doc: 大语言模型的查询扩展

    该研究提出了一种称为 query2doc 的简单而有效的查询扩展方法，通过利用大型语言模型生成伪文档并将其扩展到查询中，从而提高了信息检索系统在 ad-hoc IR 数据集上的性能，如 MS-MARCO 和 TREC DL。

    Mar, 2023

  • BERT-QE: 基于上下文的查询扩展用于文档重新排名

    本论文提供了一种使用 BERT 模型选择相关文档块进行扩展的新型查询扩展模型，能够在标准 TREC Robust04 测试集上显著优于 BERT-Large 模型，有助于解决查询扩展方法引入不相关信息的问题。

    Sep, 2020

  • 查询预测扩展文档

    该研究提出了一种将搜索引擎文档扩展为与其内容相关或代表性术语的简单方法，并利用基于 Vanilla 序列到序列模型的数据集对其进行扩展，结合高效的重新排序组件，实现了两种检索任务的最高效结果。

    Apr, 2019

  • 利用词嵌入的深度神经网络进行查询扩展

    该论文介绍了一种基于词嵌入的 query expansion 方法，使用人工神经网络分类器来预测 query expansion 词汇的有用性，实验结果表明该方法显著提高了检索性能。

    Nov, 2018

  • 生成查询和文档扩展何时失败？跨方法、检索器和数据集的综合研究

    使用大型语言模型进行查询或文档扩展可以提高信息检索的泛化能力，但是否普遍有益或仅在特定环境下有效仍不清楚。本研究通过第一次全面分析基于语言模型的扩展，发现存在查找模型表现与扩展收益之间的强负相关性。我们的结果建议：对于较弱的模型或目标数据集与训练语料库在格式上存在显著差异的情况下，使用扩展；否则，避免扩展以保持相关性信号清晰。

    Sep, 2023

  • 大型语言模型作为上下文人工智能生成器的优质多样性

    通过利用生成模型的模式匹配能力，我们提出了 In-context QD 框架，通过将 QD 档案作为上下文，利用预训练的大型语言模型的上下文能力生成有趣的解决方案，在多个领域中展现出有希望的结果，并在 QD 搜索中取得了良好的效果。

    Apr, 2024

  • 使用大型语言模型进行语料导向的查询扩展

    运用大语言模型生成的查询扩展可以显著增强信息检索系统，但由于模型的知识有限，导致扩展与检索语料库之间存在错位、产生幻觉和过时信息等问题。为了解决这些挑战，本文提出了基于语料库导向的查询扩展方法，利用大语言模型的相关性评估能力系统地识别初始检索文档中的关键句子，并将这些基于语料库的文本与大语言模型扩展的结果一起用于查询扩展，从而提高查询和目标文档之间的相关性预测。通过广泛的实验证明，该方法在没有任何训练的情况下表现出强大的性能，尤其适用于大语言模型缺乏知识的查询。

    Feb, 2024

  • 使用文本扩展的密集检索课程采样

    本文提出了一种课程抽样策略来对原始的双编码器的不足进行改进，使得检索模型能够学习将注意力从文档扩展至文档和查询，从而获得高质量的查询知情文档表示，实验结果表明，我们的方法优于以前的密集检索方法。

    Dec, 2022

  • 领域无关问答数据扩充及采样技术探究

    研究提出了一个不依赖于特定领域的问答模型，并探讨了大型预训练语言模型、各种数据采样策略以及通过背景翻译生成的查询和上下文释义的相对优点。我们发现简单的负采样技术特别有效，即使它通常用于包括无法回答的问题（如 SQuAD 2.0）的数据集。当与域内采样结合应用时，基于 XLNet（Yang 等人，2019）的提交在 MRQA 领袖板竞赛中取得了第二名的准确匹配和 F1 得分。

    Dec, 2019