Feb, 2024

SoftQE: 基于 LLMs 扩展的查询学习表示

PDF
TL;DR将大型语言模型 (Large Language Models, LLMs) 整合到查询编码器中，以提高密集检索的性能，同时避免在推理时对 LLMs 的依赖。通过将输入查询的嵌入映射到 LLM 扩展查询的嵌入，SoftQE 能够在领域内 MS-MARCO 指标上略微提高性能，并在五个领域外的 BEIR 任务中平均提高 2.83 个百分点。
发现论文，激发创造
  • 使用大型语言模型进行语料导向的查询扩展

    运用大语言模型生成的查询扩展可以显著增强信息检索系统，但由于模型的知识有限，导致扩展与检索语料库之间存在错位、产生幻觉和过时信息等问题。为了解决这些挑战，本文提出了基于语料库导向的查询扩展方法，利用大语言模型的相关性评估能力系统地识别初始检索文档中的关键句子，并将这些基于语料库的文本与大语言模型扩展的结果一起用于查询扩展，从而提高查询和目标文档之间的相关性预测。通过广泛的实验证明，该方法在没有任何训练的情况下表现出强大的性能，尤其适用于大语言模型缺乏知识的查询。

    Feb, 2024

  • EEE-QA：探索有效和高效的问题回答表征

    在自然语言处理的问答任务中，本文的关键方向是提高表示质量和效率，通过挑战现有的问题 - 答案编码惯例，探索更精细的表示方法，并测试了不同池化方法和知识图谱的集成对于性能的影响，结果显示这些方法在提高内存效率的同时，性能上有较小牺牲，大大增加了吞吐量。

    Mar, 2024

  • QuickLLaMA: 大型语言模型的查询感知推理加速

    通过引入针对大型语言模型（LLMs）的查询感知推理（Q-LLM）系统，我们解决了在序列中捕捉长距离依赖以实现深层语义理解的问题，并且在 LLaMA3 和 Mistral 基准上得到了显著的性能提升。

    Jun, 2024

  • 通过询问 LLMs 提出易于解释的嵌入

    通过利用大型语言模型（LLMs）生成的问答嵌入向量（QA-Emb）可以灵活生成可解释的用于预测 fMRI 核心响应的模型，从而深入评估我们对语义性大脑表示的理解。

    May, 2024

  • Query2doc: 大语言模型的查询扩展

    该研究提出了一种称为 query2doc 的简单而有效的查询扩展方法，通过利用大型语言模型生成伪文档并将其扩展到查询中，从而提高了信息检索系统在 ad-hoc IR 数据集上的性能，如 MS-MARCO 和 TREC DL。

    Mar, 2023

  • 实体驱动的答案集扩展用于问答评估

    基于实体驱动的答案集扩展方法，通过扩展黄金答案集以包括多样性的表述形式，其表述形式常遵循特定模式，实验结果表明，该方法在传统评估方法基础上表现出色，并且具有较高的可解释性和减少环境危害的优点。

    Apr, 2024

  • 大型语言模型的数量化知识检索

    大型语言模型可用于定量信息检索，以帮助数据分析任务，如贝叶斯模型的先验分布以及缺失数据的插补。我们提出了一个提示工程框架，将大型语言模型视为科学文献的潜在空间界面，并与其他已建立的方法进行比较。同时讨论了使用大型语言模型作为 “专家” 的影响和挑战。

    Feb, 2024

  • BERT-QE: 基于上下文的查询扩展用于文档重新排名

    本论文提供了一种使用 BERT 模型选择相关文档块进行扩展的新型查询扩展模型，能够在标准 TREC Robust04 测试集上显著优于 BERT-Large 模型，有助于解决查询扩展方法引入不相关信息的问题。

    Sep, 2020

  • BeamSearchQA: 大型语言模型是强大的零样本问答求解器

    本研究提出了一个名为 BeamSearchQA 的新型问题回答管道，它通过使用大型语言模型迭代地生成关于原始问题的新问题，从而启用一个迭代推理过程，以便更好地捕捉和利用隐藏知识。实验结果表明，BeamSearchQA 明显优于其他零 - shot 基线，在处理开放性领域问题回答方面具有很强的有效性。

    May, 2023

  • SDQ：稀疏分解量化用于 LLM 推断

    借助 SDQ 的结构稀疏性和量化方法，可以实现高计算和内存效率，并且在性能上只有不到 1% 的质量损失。

    Jun, 2024