增强想象力生成：学习为超大语言模型提供更丰富上下文的问题回答

Mar, 2024

增强想象力生成：学习为超大语言模型提供更丰富上下文的问题回答

Imagination Augmented Generation: Learning to Imagine Richer Context for Question Answering over Large Language Models

Huanxuan Liao, Shizhu He, Yao Xu, Yuanzhe Zhang, Kang Liu...

TL;DR提出了一种基于想象力的知识增强框架（IAG）和适用于问题回答的想象力丰富上下文方法（IMcQA），通过模拟人类补偿知识缺陷的能力，实现了在回答问题时仅依靠想象而不依赖外部资源。在三个数据集上的实验结果表明，IMcQA 在开放领域和封闭书籍设置中，以及分布内性能和分布外推广方面都具有显著优势。

Abstract

retrieval-augmented-generation and Gener-ation-Augmented-Generation have been proposed to enhance the knowledge required for question answering over Large Language Models (LLMs). However, the former depends on ex

retrieval-augmented-generation generation-augmented-generation imagination-augmented-generation knowledge deficits question answering

发现论文，激发创造

IAG: 增强归纳生成框架用于回答推理问题

基于检索增强生成（RAG）的框架在开放域 QA 任务中成为最先进的架构，本文提出了一种利用归纳知识和检索文档进行隐性推理的归纳增强生成（IAG）框架，并展示了 IAG 在开放域 QA 任务中的性能优越性。

Nov, 2023

利用大型语言模型和检索加强生成来提高教科书问答任务

该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

Feb, 2024

将外部知识融入生成式阅读理解中的问答

本文提出了一种新的神经网络模型 KEAG，该模型利用外部知识解决 QA 问题，能够比现有的知识感知 QA 模型生成更高质量的答案，并证明其在利用知识方面的有效性。

Sep, 2019

基于 LM 的问答生成方法的实证比较

本文旨在建立三种不同的 QAG 方法的基线，利用序列到序列语言模型进行微调。实验证明，一种端到端的 QAG 模型，它在训练和推理时计算量都很轻，通常是稳健的，并且胜过其他复杂的方法。然而，这取决于底层生成模型的不同。最后，我们的分析表明，仅基于生成的问答对微调的 QA 模型可以与人类标注数据上训练的监督 QA 模型具有竞争力。

May, 2023

RQ-RAG: 学习改进用于检索增强生成的查询

学习改进查询以实现检索增强生成，通过加入外部相关文档，使模型具备显式重写、分解和消歧的能力，并在各种问题回答数据集中取得了优于现有方法的表现。

Mar, 2024

IM-RAG: 内心独白学习的多轮检索增强生成

通过集成 IR 系统与 LLMs 来支持多轮 RAG，提出了一种新的 LLM 中心方法 IM-RAG，优化通过强化学习和监督微调，实现在 HotPotQA 数据集上达到最先进性能的同时提供高度可灵活性的 IR 模块集成和学习的内部独白解释性。

May, 2024

FusionMind -- 提升问题与回答的外部上下文融合

利用预训练语言模型（LMs）和知识图谱（KGs）解答问题存在识别相关知识和进行联合推理的挑战。通过与先前发表的 QAGNN 方法进行比较，我们发现将相关的知识事实纳入问题上下文有助于提高问题回答性能，而将知识图谱融入语言模型中则只能带来少量增长，这表明将上下文知识事实结合起来可能对增强问题回答性能更具影响力。

Dec, 2023

检索增强生成以改善数学问答：关于实际性和人类偏好之间的权衡

为了中学数学学生，与导师进行互动式问答是一种有效的学习方式，尤其在数学概念的概念讨论方面，使用生成式大语言模型（LLMs）自动化部分辅导过程，结合检索增强生成（RAG）系统，从高质量开源数学教材中检索和使用内容来生成辅导的回答对于中学代数和几何问题解答得到了积极评价，但需考虑学生所偏好的回答和与特定教育资源相匹配回答之间的平衡。

Oct, 2023

并非所有语境平等：教授 LLMs 信任感感知生成

本研究提出了一个通用的 CAG 框架，旨在减轻 RAG 模型中引入的错误信息对生成结果的影响。通过创新的数据转换框架生成基于可靠性的数据，使模型具备辨别和处理信息可靠性的能力。实验证明，该模型在生成中能够有效理解和利用可靠性，显著优于其他带有检索增强的模型，并对噪声文档引起的干扰表现出韧性，从而保持稳健的性能。此外，该模型支持定制的可靠性，有广泛的潜在应用。

Apr, 2024

MuRAG: 图像和文本开放式问答的多模式检索增强生成器

MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

Oct, 2022