通过结合文档检索技术与大型语言模型 (LLM)，我们提出了一种名为 Generator-Retriever-Generator (GRG) 的新方法，通过首先命令模型根据给定的问题生成上下文文档，然后使用双编码器网络从外部语料库中检索与问题相关的文档。将生成的和检索的文档传递给第二个 LLM 模型，生成最终的答案。通过结合文档检索和 LLM 生成，我们的方法解决了开放域问答的挑战，如生成信息丰富且上下文相关的答案。GRG 在 TriviaQA、NQ 和 WebQ 数据集上表现优于最先进的生成 - 阅读和检索 - 阅读流水线 (GENREAD 和 RFiD)，性能至少提高了 + 5.2、+4.2 和 + 1.6。我们提供代码、数据集和检查点。

Jul, 2023

通过使用大规模语言模型（LLMs），我们提出了一种名为 EKRG 的新型检索 - 生成框架，以极低的注释成本实现了企业知识库的问答。通过独特的指令调优方法和针对连贯性思维的微调方法，我们的框架在真实世界数据集上进行了广泛实验，并取得了显著的有效性。

Apr, 2024

Question generation is a natural language generation task that can be achieved with a single Transformer-based unidirectional language model, which outperforms QG baselines and produces high-quality questions that are relevant to their context paragraph and easy to answer, utilizing transfer learning without relying on auxiliary data.

May, 2020

本文介绍了一种多语言的问答生成模型 AutoQG 及其 Python 包 lmqg，模型基于预训练的 encoder-decoder 语言模型，在 8 种语言上 fine-tune，并提供了一个 web 界面和易于使用的代码，方便从业者使用和定制。

May, 2023

本文介绍了一种称为 Self-QA 的创新框架，利用大量无监督知识代替传统的人工撰写指导文件种子，从而生成更多正确和特定于领域的指导数据，以克服创建用于指导调整的监督配对问答数据所面临的挑战。

May, 2023

给定具有文本属性的图，我们使用对话界面使用户能够与其图进行交流，在回答用户问题时提供文本回复并突出显示图的相关部分。通过开发我们的图问题回答（GraphQA）基准和集成 GNN、LLM 和 RAG 的 G-Retriever 方法，我们在多个领域的文本图任务中超越基准，而且可以适应更大的图大小并抗幻觉。

Feb, 2024

该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

Feb, 2024

本文提出了一种新的神经网络模型 KEAG，该模型利用外部知识解决 QA 问题，能够比现有的知识感知 QA 模型生成更高质量的答案，并证明其在利用知识方面的有效性。

Sep, 2019

本文提出了一种 Generation-Augmented Retrieval 方法来回答开放领域的问题，这种方法通过发现相关语境并进行文本生成来增强查询，同时证明所生成的语境大大丰富了查询的语义，使用 BM25 稀疏表示与 DPU 等最先进的稠密检索方法相比，GAR 能够获得同等甚至更好的检索效果。本文还将 G.A.R. 与 DPU 相结合，能够在 Natural Questions 和 TriviaQA 数据集上显着提高提取式 QA 基线的性能，并且在使用相同的生成性阅读器时，GAR 频繁地优于其他检索算法。

Sep, 2020

我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

Sep, 2017