Apr, 2022

自回归搜索引擎：生成子字符串作为文档标识符

PDF
TL;DR提出利用自回归模型生成和打分 n 元组，并通过高效的数据结构将其映射到完整段落的检索方案，相较于其他检索方案具有更好的性能表现和更小的内存占用。
nlp systemsautoregressive language modelsretrieval problemngramsmemory footprint
发现论文，激发创造
  • 大型语言模型是内置自回归搜索引擎

    这篇论文旨在研究大型语言模型的文档检索能力。实验表明，通过提供少量上下文演示，大模型可以直接生成正确答案的网址，相比于目前的检索方法在开放领域问答中表现更佳。

    May, 2023

  • 自回归实体检索

    GENRE 是第一个通过自回归方式逐个 token 生成实体名称以检索实体的系统，此方法可以在自动编码器中直接捕捉上下文和实体名称之间的关系，从而减少内存占用并提高检索效率。

    Oct, 2020

  • 用于事实验证的数据高效自回归文档检索

    本文介绍了一种不需要标注的远程监督方法，可用于训练自回归召回器，以在零样本环境中获得竞争性召回率和精确率。此外，通过针对特定任务的监督微调，展示了利用少于 1/4 注释数据的情况下，基于 Wikipedia 的事实验证任务的自回归检索性能可以接近甚至超过全监督。这指出数据有效的自回归检索存在着可行的方向。

    Nov, 2022

  • 非自回归模型词汇扩容用于高效生成式检索

    该论文研究了非自回归语言模型作为生成式检索的更高效的替代方法，并提出了 PIXAR，一种扩展目标词汇的新方法，通过包括多词实体和常见短语（高达 500 万个标记）来减少标记之间的依赖性，并通过推理优化策略在保持低推理延迟的同时实现了好于标准非自回归模型 31.0% 的相对改进 (MRR@10，MS MARCO 数据集)。

    Jun, 2024

  • 面向知识密集任务的统一语言模型：利用外部语料库

    该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

    Feb, 2024

  • 生成式检索中的先行规划：通过同时解码引导自回归生成

    本文介绍了 PAG，一种新的优化和解码方法，通过同时解码来指导生成式检索模型中文档标识符的自回归生成。PAG 为每个文档构建了一种基于集合和顺序的标识符，其中基于集合的标识符基于词汇标记建立，而顺序标识符则通过量化文档的基于相关性的表示获得。在 MSMARCO 和 TREC 深度学习赛道数据上进行的大量实验证明 PAG 在性能上超过了现有的生成式检索模型（例如，在 MS MARCO 上提高了 15.6% 的 MRR），同时查询延迟方面达到了 22 倍的加速。

    Apr, 2024

  • 生成式检索中的学习排序

    提出了一个称为 LTRGR 的新框架，结合了生成式检索和经典的学习 - 排序模型，通过使用段落排名损失训练自回归模型，只需要额外的训练步骤即可增强当前的生成式检索系统，并在三个公共数据集上实现了最先进的性能。

    Jun, 2023

  • 我们是否应该使用检索方法预训练自回归语言模型？一项全面研究

    通过引入检索机制可以提高大型解码器语言模型的困惑度和生成质量，本文提出了一种可扩展的预训练检索增强语言模型，它在实验证明了在知识密集型任务上优于标准 GPT，未来这可能是预训练自回归 LM 的有前途的方向。

    Apr, 2023

  • 基于生成检索的推荐系统

    提出一种新颖的单阶段生成检索模型，将 Amazon 数据集用于训练，结果表明，这种模型能够获得更好的推荐效果和更好的泛化能力以推荐 “冷启动” 物品。

    May, 2023

  • 强化信息检索与生成的大型语言模型

    我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

    Oct, 2023