ACLNov, 2019

上下文化稀疏表示法用于实时开放域问答

PDF
TL;DR本文旨在通过引入上下文稀疏表示（Sparc）来改善每个短语嵌入的质量，借助修正的自注意力间接地学习 N-gram 词汇空间中的稀疏向量，通过将前一短语检索模型（Seo 等人，2019）与 Sparc 相结合，我们在 CuratedTREC 和 SQuAD-Open 中展示了 4% 以上的改进，其中我们的 CuratedTREC 得分甚至优于已知的检索和阅读模型，而推理速度至少快 45 倍。
open-domain question answeringphrase retrievalcontextualized sparse representationrectified self-attentionimprovement
发现论文，激发创造
  • 实时开放域问答与密集稀疏短语索引

    本文提出了一种查询不可知的可索引文档短语表示，该表示可以大大加速开放域问答，并允许我们达到长尾目标。实验证明，该模型的计算成本降低了 6,000 倍，并且比 DrQA 更准确，可以在 CPU 上实现最快 58 倍的端到端推理基准。

    Jun, 2019

  • 大规模学习短语的密集表示

    该研究展示了从阅读理解任务的监督学习中学习到短语的密集表示，并使用负采样方法提高性能，能够取代当前依赖于稀疏表示的短语检索模型，实现更好的开放域问答准确性并被用作密集知识库。

    Dec, 2020

  • 可聚合的上下文化词向量用于有效短语挖掘

    当目标短语位于噪音上下文中时，单个密集向量不足以进行有效的短语检索；因此，我们提出了代表多个子句、连续词语片段的概念，每个片段都有自己的密集向量，并引入了一种修改后的对比损失函数用于鼓励词嵌入具备此属性，并展示了该方法在短语挖掘中的改进效果。

    May, 2024

  • 用于开放式领域问答的密集式检索

    本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

    Apr, 2020

  • SPARTA: 基于稀疏变换器匹配检索的高效开域问答

    SPARTA 是一种新颖的神经检索方法，其学习稀疏表示，可高效地实现反向索引进行可扩展的神经检索，通过在英语和中文数据集的各种开放域问答任务中实现先进的结果，同时具有人类可解释的表征和对性能和效率之间权衡的灵活控制。

    Sep, 2020

  • 通过向量化上下文改进基于检索的开放领域问答

    在大语言模型的时代，应用检索增强生成等技术可以更好地解决开放领域问题回答问题。本文提出了一种通用方便的方法来覆盖更长的上下文，以在开放领域的问答任务中应用。我们的实验证明，在精调后，在两个保留数据集、四个留存数据集和两个上下文学习设置中，性能得到了提高。

    Apr, 2024

  • 产品问答中高效易于解释的异构数据信息检索

    通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

    May, 2024

  • SparTerm：学习基于词项的稀疏表示以实现快速文本检索

    本文提出了一种名为 SparTerm 的框架，旨在将预训练语言模型的深度知识转移至基于词袋法的稀疏表示，以提高其语义级匹配的表达能力，同时保持其效率、可解释性和准确性，并在 MSMARCO 数据集上获得了 state of the art 的排名性能。

    Oct, 2020

  • 面向交谈式搜索的上下文化查询嵌入

    本文以学习到的密集表示为基础，描述了一种紧凑而有效的模型，用于对话搜索中的低延迟段落检索。 通过将对话查询重构直接整合到密集检索模型中，我们提出了一种新方法来解决现有流程的问题。 在构建具有伪相关性标签的数据集的基础上，证明了该模型可用于会话检索和开放域问答数据集，最后通过改进的检索模型学习到的特性，支持混合检索和错误分析。

    Apr, 2021

  • 阅读理解的上下文化词表示

    论文研究了使用神经网络和预训练语言模型来提取文件中问题的答案，通过提供丰富的上下文表示并允许模型在上下文相关和上下文无关的单词表示之间进行选择，可以获得比现有技术更好的性能。

    Dec, 2017