本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。

Feb, 2020

我们展示了如何从一个国家图书馆的数字和数字化收藏品中构建一个大规模的训练集，产生了一个基于 Bidirectional Encoder Representations from Transformers（BERT）的语言模型，其在挪威博克马尔语和挪威尼诺斯克语的多个标记和序列分类任务中优于多语言 BERT（mBERT）模型，并改进了该语料库中其他语言（如英语、瑞典语和丹麦语）的 mBERT 性能。因此，我们展示了在记忆机构内使用略带噪声的 OCR 内容构建高质量模型是可行的，希望为其他记忆机构铺平道路。

Apr, 2021

该研究探讨了大型语言模型的实际效果，并对比了检索增强语言模型的潜力。研究发现，与普通的大型语言模型不同，半参数语言模型将来自外部数据源的模型参数和知识结合起来进行预测。该模型通过视图、查询分析器 / 规划器和来源信息的创新应用使问题回答系统在精度和效率方面显著增强，可能还可用于其他 NLP 任务。

Jun, 2023

该论文研究了不同的检索增强语言模型，如 REALM、kNN-LM、FiD、ATLAS 和 Flan-T5，分析了这些模型在不同任务的文档推理中的优缺点，了解了这些模型在推理失误的情况下，检索器模块以及语言模型是如何根源于推理失误的。

Dec, 2022

使用检索增强语言模型 (Retrieval-augmented language models, RALMs) 在处理特定应用场景问题时，检索到的信息能够提高模型的性能，并且不会损害性能。该研究分析了五个开放领域问答基准，并提出了两种方法以减轻性能下降问题。

Oct, 2023

该研究介绍了一个新的 Rewrite-Retrieve-Read 框架，该框架从查询重写的角度改进了检索增强方法，并通过强化学习调整该框架的策略模型，通过开放域 QA 等下游任务进行了验证。

May, 2023

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

使用检索式建模的思想，为会话助手的多领域任务定向语义解析问题引入了 RetroNLU 方法，通过在序列到序列模型中扩展检索部件，我们的技术在语义解析的不同语言表达复杂度下均比基线更为出色，尤其是在数据稀缺环境下，只需 40％的数据即可达到基线模型准确度的匹配，超越基线方法 1.5％的绝对宏 - F1。

Sep, 2021

使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

Apr, 2020

本文提出一种在已有的 ASR 模型中添加检索语言模型，以直接从外部文本语料库中检索可能的完成语来改善模型性能，并使用适配器将这些完成语集成到后续的预测中，避免了重新训练的计算开销。该模型在问答数据集和特定领域命名实体识别等任务上表现均优于现有的浅层融合方法。

Mar, 2023