May, 2023

生成式检索在百万篇章上的可扩展性？

PDF
TL;DR本文对生成式检索技术进行了第一次经验研究，通过使用合成查询作为文档表示进行索引，以及调整内部架构，探索了在不同语料库规模下扩展生成式检索的几个关键点，发现在小规模语料库上生成式检索和最先进的双编码器具有竞争力，但在数百万篇章的大规模语料库上实现可扩展性仍然是一个重要的未解决问题。
发现论文，激发创造
  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020

  • 生成式检索中的学习排序

    提出了一个称为 LTRGR 的新框架，结合了生成式检索和经典的学习 - 排序模型，通过使用段落排名损失训练自回归模型，只需要额外的训练步骤即可增强当前的生成式检索系统，并在三个公共数据集上实现了最先进的性能。

    Jun, 2023

  • 动态语料库上的持续更新生成式检索

    本研究介绍了一个名为 STREAMINGIR 的新基准，用于评估检索方法对于动态变化语料库（如实时问答）的泛化能力，并比较了双编码器和生成式检索的性能和效率。结果表明，生成式检索在不同程度的监督下表现出不同的性能，但是参数高效的措施可以在某些方面提高其性能并与双编码器的性能和效率具有竞争力。

    May, 2023

  • 蒸馏增强的生成式检索

    通过蒸馏技术，提出了一种名为 DGR 的可行框架，利用排名模型作为教师角色，通过专门设计的蒸馏 RankNet loss 来优化生成式检索模型，从而提升了当前生成式检索系统的性能。

    Feb, 2024

  • 上下文生成检索

    提出了一种上下文生成检索模型，其在生成式检索模型的解码步骤中使用上下文嵌入，结合了双编码器方法和生成式检索模型的优点，显示出比只有普通嵌入的情况更高的性能。

    Oct, 2022

  • 将大规模生成模型的知识提炼为检索模型，用于高效的开放域对话

    提出了一种新的训练方法，称为 G2R（Generative-to-Retrieval distillation），它通过将生成模型的知识注入检索模型中，从而保留检索模型的效率和大规模生成模型的会话能力，通过人工评估等广泛实验证明，使用 G2R 训练的检索型对话系统相比于基准检索模型显示出大幅提高的性能，同时显示出显着较低的推理延迟。

    Aug, 2021

  • GripRank: 通过生成式知识改进的段落排序填补检索和生成之间的差距

    本文提出了一种名为 GripRank 的算法，它通过从一个生成式的通道评估器到一个通道排名器的知识精华的提炼来解决候选通道在检索过程中被平等对待的问题，并通过设计一套课程知识提炼机制来提升知识的提炼质量，实现了对答案的生成和文本排名的优化，最终在 KILT 基准测试中展现出优于同类方法的结果。

    May, 2023

  • 基于排名的生成模型在 [CLS] 任务中的应用

    本研究旨在重新审视信息检索的生成式框架，并比较其与基于语义相似性的判别式模型在答案选择任务上的表现。同时，还展示了非似然损失对信息检索的有效性。

    Oct, 2020

  • 生成式信息检索综述

    通过综述 Generative Retrieval（GR）的关键发展、索引和检索策略和挑战，讨论了具有挑战性的生成查询质量、可学习文档标识符、可扩展性和多任务学习框架等未来研究方向，旨在为 GR 提供基础理解并激发信息检索领域的进一步创新。

    Jun, 2024

  • 多视角标识增强生成检索

    本研究提出了一种新的生成式检索方法，使用合成标识符来代替传统的数字 ID 或文本片段标识符。同时，多视图标识符的综合排名可以更好地匹配查询 - 检索。在三个公共数据集上进行的实验证明了这种方法的高效性和稳定性。

    May, 2023