UniKGQA 是一种新的多跳知识图谱问答方法，通过统一检索和推理模型架构和参数学习，基于预训练语言模型的语义匹配模块和匹配信息传播模块进行问题与关系的语义匹配，采用共同的预训练任务和检索以及推理定向的微调策略。

Dec, 2022

我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

Jan, 2024

MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

Oct, 2022

使用多任务学习和强化学习的方法，通过支持事实的多次跳转生成相关问题，相比于单次跳转模型，我们的模型在 HotPotQA 数据集上表现更好（同时在自动评估指标如 BLEU、METEOR 和 ROUGE 以及人工评估指标中都有着更高的质量和覆盖率）。

Apr, 2020

该论文提出了一种基于网络的问题回答系统，运用多模式融合的结构化和非结构化信息，用以填补知识库中的缺失信息，并通过该系统对问题模板进行提取和组合，结合结构化信息和网络上的非结构化信息，从而达到知识库补全的目的。

Nov, 2022

知识对话系统与互联网检索近年来吸引了研究人员的广泛关注。通过使用统一的模型实现检索决策、查询生成和回复生成的三个任务，我们的工作不仅解决了使用外部知识的必要性问题，还节约了多模型部署的复杂性和成本。在 Wizint 和 Dusinc 数据集上的实验证明了我们的统一模型在各个任务上的卓越性能，以及与针对每个任务单独部署的 SOTA 系统相比具有可比性的结果。

Jan, 2024

本文综述了检索多模态知识以辅助和增强生成模型的方法，并提供了对从外部来源（包括图像、代码、表格、图形和音频）检索根据的关注点的深入探讨，包括事实性、推理、可解释性和鲁棒性。

Mar, 2023

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

通过引入一种名为 RMR 的新型多模式 RAG 框架，本研究在多模式视觉语言模型中整合了基于检索的答案生成和推理能力，并通过提供相关问答对进行训练来显著提高各种基准数据集上的性能，凸显该框架在改善视觉语言模型的推理能力方面潜力巨大。

May, 2024

通过提出一种选择基于概念网络的常识信息和一种选择性门控的多头注意力机制，本文提出了一种生成式模型，用于解决阅读理解 QA 任务中的多跳关系抽取问题，并在 NarrativeQA 数据集上创造新的最先进结果。

Sep, 2018