Oct, 2022

面向任务的特定领域优化，用于高效和稳健的对于开放域问答的密集检索

HTML
PDF
TL;DR提出了一种新的体系结构，Task-aware Specialization for dense Retrieval (TASER)，该模型通过交错共享模块和专用模块在单个编码器中实现参数共享，能够在使用密集检索模型时提高准确性并显著减少了参数数量, 在五个问答数据集上实验表明，与双编码器密集检索器相比，TASER能够在使用大约60%的参数的同时实现卓越的准确性。
发现论文，激发创造
  • 用于开放式领域问答的密集式检索

    本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域QA基准测试中超越了传统的基于TF-IDF或BM25的方法，为终端QA系统的最新性能奠定了基础。

    Apr, 2020

  • 开放域问答的高效内存基线

    本文研究了基于密集表示的检索系统如何减少内存占用，并提出了三个方法：降维、量化和过滤。在TriviaQA和NaturalQuestions数据集上进行评估后，发现使用不到6GB的内存就能获得可以与竞品相媲美的系统。

    Dec, 2020

  • 稠密通道检索器的复制研究

    本研究对Karpukhin等人于2020年提出的基于稠密编码的全域问答模型（DPR）进行了复制研究，其中发现原作者低估了BM25基准检索的有效性。我们通过改进的答案跨度评分技术，使用与原论文相同的模型获得更好的端到端问题答案准确性。

    Apr, 2021

  • 简单实体中心问题挑战密集检索器

    本文主要研究使用Wikidata数据构造的entity-rich questions在密集检索模型中表现不佳的问题，并探讨了两种解决方案：第一种解决方法是数据扩充无法解决广义化问题，第二种解决方法是更加强大的passage encoder有助于使用专门化的问题编码器来更好地适应问题。

    Sep, 2021

  • 开放领域问答的低资源稠密检索: 一份综合调查报告

    本文探讨了基于预训练语言模型的致密检索方法，并提供了在低资源情境下实现致密检索的主流技术概览，根据技术需要的资源将其分为文档、文档和问题，以及文档和问题答案对三个类别，并对每个技术的算法、开放问题和优缺点进行了介绍和总结，最后提出了未来研究的方向。

    Aug, 2022

  • 增强嵌入用于定制检索

    信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小K值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

    Oct, 2023

  • REAR：一种针对开放领域的问题回答的关联感知检索增强框架

    本文提出了REAR，这是一种适用于开放领域问答的关联感知检索增强方法，通过在大型语言模型中引入一个能够准确评估检索文档相关性的排名头，以及通过双粒度相关融合和抗干扰训练的改进方法进行训练，REAR能够更好地利用外部知识并在四个开放领域问答任务中显著优于其他竞争性的RAG方法。

    Feb, 2024

  • W-RAG：用于开放域问答的弱监督密集检索

    本研究针对开放域问答中大语言模型无法仅依赖内部知识生成正确答案的问题，提出了W-RAG方法。该方法利用大语言模型的排名能力生成弱标签数据，优化密集检索器的训练。实验结果表明，该方法显著提升了检索和问答的性能。

    Aug, 2024

  • 大型语言模型作为下一代密集检索的基础：全面的实证评估

    本研究解决了传统检索模型在领域准确性和推广能力方面的不足，通过对多种检索任务的全面实证研究，评估了大型语言模型（LLMs）的性能。研究发现，较大的模型和广泛的预训练能够持续提升领域准确性和数据有效性，并在零样本推广和多任务学习等方面展现出显著潜力，这为未来相关领域的研究与开发提供了重要见解。

    Aug, 2024

  • 大型语言模型作为下一代密集检索的基础：全面的实证评估

    本研究针对传统检索模型在特定领域的准确性和泛化能力不足的问题，采用大型语言模型（LLMs）进行评估，探讨其在密集检索中的独特优势。研究结果表明，较大的模型和更长的预训练时间能够显著提高领域内准确性和数据效率，同时在零样本泛化、长检索等多任务学习中具有重要潜力，这为未来的研究和开发提供了有价值的见解。

    Aug, 2024