动态语料库上的持续更新生成式检索

May, 2023

动态语料库上的持续更新生成式检索

Continually Updating Generative Retrieval on Dynamic Corpora

Soyoung Yoon, Chaeeun Kim, Hyunji Lee, Joel Jang, Minjoon Seo

TL;DR本研究介绍了一个名为 STREAMINGIR 的新基准，用于评估检索方法对于动态变化语料库（如实时问答）的泛化能力，并比较了双编码器和生成式检索的性能和效率。结果表明，生成式检索在不同程度的监督下表现出不同的性能，但是参数高效的措施可以在某些方面提高其性能并与双编码器的性能和效率具有竞争力。

Abstract

generative retrieval has recently been gaining a lot of attention from the research community for its simplicity, high performance, and the ability to fully leverage the power of deep autoregressive models. Howev

generative retrieval deep autoregressive models dynamic environments streamingir benchmark bi-encoder

发现论文，激发创造

上下文生成检索

提出了一种上下文生成检索模型，其在生成式检索模型的解码步骤中使用上下文嵌入，结合了双编码器方法和生成式检索模型的优点，显示出比只有普通嵌入的情况更高的性能。

Oct, 2022

生成式检索在百万篇章上的可扩展性？

本文对生成式检索技术进行了第一次经验研究，通过使用合成查询作为文档表示进行索引，以及调整内部架构，探索了在不同语料库规模下扩展生成式检索的几个关键点，发现在小规模语料库上生成式检索和最先进的双编码器具有竞争力，但在数百万篇章的大规模语料库上实现可扩展性仍然是一个重要的未解决问题。

May, 2023

生成式密集检索：内存可能成为负担

提出了生成检索（GR）和生成稠密检索（GDR）两种机制，通过克服记忆机制的精度、记忆混淆和记忆更新成本等问题，在小规模语料库中实现了较好的检索性能和可扩展性。

Jan, 2024

生成式检索中的学习排序

提出了一个称为 LTRGR 的新框架，结合了生成式检索和经典的学习 - 排序模型，通过使用段落排名损失训练自回归模型，只需要额外的训练步骤即可增强当前的生成式检索系统，并在三个公共数据集上实现了最先进的性能。

Jun, 2023

基于生成检索的推荐系统

提出一种新颖的单阶段生成检索模型，将 Amazon 数据集用于训练，结果表明，这种模型能够获得更好的推荐效果和更好的泛化能力以推荐 “冷启动” 物品。

May, 2023

我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

Apr, 2023

使用迭代检索生成协同技术增强检索增强型大型语言模型

本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

May, 2023

强化信息检索与生成的大型语言模型

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

蒸馏增强的生成式检索

通过蒸馏技术，提出了一种名为 DGR 的可行框架，利用排名模型作为教师角色，通过专门设计的蒸馏 RankNet loss 来优化生成式检索模型，从而提升了当前生成式检索系统的性能。

Feb, 2024

评估生成式即时信息检索

通过调查信息检索和自然语言处理文献，识别生成式检索中的搜索任务和系统架构，开发相应的用户模型并研究其操作化，该文理论分析为生成式即时检索系统的评估提供了基础和新洞察。

Nov, 2023