通过分析检索到的段落对阅读器模型性能的贡献和必要性，以及在令牌级别上消除一些可能对答案生成过程没有贡献的检索信息，我们证明了我们的方法能够在最多减少 62.2% 运行时间的同时，只有 2% 的性能下降甚至在某些情况下提高性能结果。

Oct, 2023

本文提出了一种新方法 KG-FiD，利用知识图谱过滤有噪声的检索段落，以及基于图神经网络的重排序方法，以提高开放域问答模型 FiD 的效率和准确性。

Oct, 2021

该研究研究了面向知识密集型任务的检索增强式生成模型的多任务训练。通过利用知识密集型生成的独特属性：查询 - 答案对与知识库中项目的联系，我们提出了一种清理训练集的方法。使用关联性标签的置信度阈值过滤训练样本，以确定是否可以通过知识库回答一对查询 - 答案。我们在 KILT 基准测试的七个组合任务上对单个 FiD 生成器进行训练。实验结果表明，我们简单而有效的方法大大改进了两个强烈不平衡的任务上的竞争基线，并在其余任务上显示出较小的改进或无显着退步。此外，我们表明，与增加的模型容量一样，我们的关联标签采样的多任务训练能够良好地缩放，并在 KILT 任务的五项中取得了最佳结果。

Jul, 2022

该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

Feb, 2024

本文介绍一种新的方法，通过多任务学习框架和银标签法来预测每个句子的证据性，并将其集成到生成模型的训练中，从而提高了知识密集型 NLP 任务中的生成模型的表现，尤其是在 FaVIQ-Ambig 上。

Dec, 2021

LUMEN 是一种检索 - 增强型语言模型，介于传统的基于文本语料库的预编码记忆和需要编码大量检索段落的 Fusion-in-Decoder 之间，利用一个实时编码器完成编码任务，比 FiD 更便宜且更适合于解决各种问题 - 回答任务，而且 LUMEN 的优势随着模型大小的增加而增加。

Jan, 2023

本研究提出一种名为 Iter-RetGen 的方法，通过检索和生成的迭代协同作用，以全面地处理检索到的知识并在不受结构约束的情况下实现灵活的生成，而这可以在多跳问答、事实验证和常识推理等任务中实现可比甚至优于现有检索辅助基准的效果，同时减少检索和生成的开销，从而提高了性能。

May, 2023

介绍了一个新的问题 KTRL+F，它是一种知识增强的文档内搜索任务，通过单个自然查询实时识别文档中的所有语义目标，包括对外部来源的意识。通过增加外部知识嵌入到短语嵌入中，提出了一种平衡速度和性能的知识增强短语检索模型，用户研究证明即使使用简单模型，用户减少搜索时间、查询次数和外部源的访问，鼓励研究界在 KTRL+F 上开展工作以提高文档内信息获取的效率。

Nov, 2023

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

该论文提出了一种基于神经检索 - 阅读 (Retrieval-Reading) 系统和基于 TFIDF 的文本摘要技术来利用先前的谈话历史中的潜在知识的方法，以便更好地回答问题，并且实验证明该系统显著提高了回答质量。

Dec, 2022