该研究论文介绍了一种统一的语言模型，通过将生成检索、闭书生成和 RAG 有机地结合，利用外部语料库处理各种知识密集型任务。该模型通过引入不同机制实现了有效的检索和生成，并在广泛使用的 KILT 基准测试中展现了出色的性能。

Feb, 2024

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

我们提出了一种新颖的方法，通过从一系列支持文件中选择上下文相关的短语来生成文本，并使用语言学启发式方法初始化训练阐述，并通过迭代的自我增强来加强训练阐述。实验证明，与标准语言模型相比，我们的模型在各种知识密集型任务上不仅表现出色，而且在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性从 23.47% 提高到 36.27%，在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。值得注意的是，我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。总之，我们断言检索是更准确的生成，并希望我们的工作能够鼓励进一步研究这一新的转变。

Feb, 2024

本文总结了我们在第九届对话系统技术挑战赛（DSTC 9）第一轨中的工作，我们提出了一种基于层次分类和序列嵌入的检索和生成方法，以实现针对任务导向对话中利用非结构化文本信息的回答生成。

Feb, 2021

当文本随着世界的改变而改变时，我们如何构建能够轻松更新以反映这些变化的语言模型？本论文引入了 ERASE，通过逐步删除或重写知识库中的其他条目来改进模型在添加新文档时的表现，从而提高了模型在回答有关一系列新闻文章或对话的问题时的准确性。

Jun, 2024

通过调查信息检索和自然语言处理文献，识别生成式检索中的搜索任务和系统架构，开发相应的用户模型并研究其操作化，该文理论分析为生成式即时检索系统的评估提供了基础和新洞察。

Nov, 2023

商业文档信息提取（BDIE）是将一大段非结构化信息（原始文本、扫描文档等）转换为下游系统可以解析和使用的结构化格式的问题。本文提出了一种名为 RASG 的检索增强结构化生成的新的 BDIE 框架，它在 BDIE 基准测试中实现了最先进的 KIE 任务和 LIR 任务的结果。

May, 2024

TREC iKAT 2023 挑战中，本文使用 Generate-Retrieve-Generate 方法，利用大型语言模型（LLMs）进行答案生成与理解，通过 BM25 进行答案连贯性过滤，实现更高的性能表现。

Nov, 2023

通过 Retrieval-Augmented Generation (RAG) 技术结合语言模型，本研究以智能技术为背景，探讨解决语言模型中的 “hallucination” 问题，并通过使用 Orca2 模型进行查询优化来提高性能。实证结果显示，在 RAG 的帮助下，初始语言模型的性能得到显著改善，并展示了使用语言模型生成查询的效果。引入 BERT 的 UMAP 技术进一步简化了文档检索过程。

Feb, 2024

通过将文档切分成原子语句并生成与原子语句相关的合成问题，本研究实现了在企业级检索增强生成中更准确的检索召回，并观察到使用原子语句检索和合成问题检索能够提高检索步骤的召回率，从而提高企业级大型语言模型的性能。

May, 2024