EMNLPNov, 2022

用于事实验证的数据高效自回归文档检索

PDF
TL;DR本文介绍了一种不需要标注的远程监督方法，可用于训练自回归召回器，以在零样本环境中获得竞争性召回率和精确率。此外，通过针对特定任务的监督微调，展示了利用少于 1/4 注释数据的情况下，基于 Wikipedia 的事实验证任务的自回归检索性能可以接近甚至超过全监督。这指出数据有效的自回归检索存在着可行的方向。
document retrievalnatural language processingsequence-to-sequence modelsfact verificationwikipedia-based retrieval
发现论文，激发创造
  • 基于自然语言逻辑的自回归多跳文档检索方法用于事实核查

    我们提出了一种基于自回归公式的检索和重新排序方法，该方法用自然逻辑为基础，使用证明系统动态终止检索过程，同时使用比竞争系统少 5 到 10 倍的记忆，对 FEVER、HoVer 和 FEVEROUS-S 等数据集具有与当前最先进方法相当的性能。

    Dec, 2022

  • 自回归实体检索

    GENRE 是第一个通过自回归方式逐个 token 生成实体名称以检索实体的系统，此方法可以在自动编码器中直接捕捉上下文和实体名称之间的关系，从而减少内存占用并提高检索效率。

    Oct, 2020

  • GERE: 用于事实验证的生成式证据检索

    该论文提出了 GERE，一个通过生成方式检索证据的系统，以解决事实验证中的技术难题，即减少存储和计算成本，捕捉文档和句子之间的依赖关系，动态地选择每个索赔的相关证据，超越现有技术基线。

    Apr, 2022

  • 弱监督开放域问答的潜在检索

    本文提出了一种新的 open domain question answering 方法，利用问题 - 回答对来同时学习 retriever 和 reader，将 Wikipedia 中的证据检索视为潜在变量，并通过 Inverse Cloze Task 进行预训练。我们的方法在五个 QA 数据集上进行测试，表明在用户真正寻求答案的数据集上，学习检索至关重要，完全匹配方面的得分比传统的 IR 系统（如 BM25）高达 19 个点。

    Jun, 2019

  • 自回归搜索引擎：生成子字符串作为文档标识符

    提出利用自回归模型生成和打分 n 元组，并通过高效的数据结构将其映射到完整段落的检索方案，相较于其他检索方案具有更好的性能表现和更小的内存占用。

    Apr, 2022

  • 提供更多细节：利用潜在检索改进事实核查

    该研究旨在改善自动事实核查系统，并尝试将原始文档的全文作为证据，并引入了两个丰富的数据集。实验证明，即使没有标注黄金证据句子，包括原始文档在内的证据可以提供足够的上下文线索，该系统能够在不同的设置下显著提高最佳报告模型的精度。

    May, 2023

  • 大型语言模型是内置自回归搜索引擎

    这篇论文旨在研究大型语言模型的文档检索能力。实验表明，通过提供少量上下文演示，大模型可以直接生成正确答案的网址，相比于目前的检索方法在开放领域问答中表现更佳。

    May, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023

  • 零样本信息检索的转介增强

    提出 Referral-Augmented Retrieval（RAR），用于零 - shot 信息检索，通过链接到特定文档的其他文档的文本来提供更全面、多视角的文档表示，这种方法与稀疏型和密集型召回器一起使用可以消除模型训练和推理的昂贵成本，并取得了最多 37% 的绝对改进。

    May, 2023

  • 我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

    通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

    Apr, 2023