本研究提出了 CORE-GPT，一个结合了 GPT 语言模型和超过 3200 万篇 CORE 科学论文的问答平台。我们首先证明了 GPT3.5 和 GPT4 不能提供所生成文本的参考文献和引用。然后，我们介绍了 CORE-GPT，它能够提供有据可依的答案，并附带引文和文章链接，大大提高了答案的可信度，减少了虚构性的风险。CORE-GPT 在 CORE 数据库中涵盖了 20 个科学领域的 100 个问题上进行了性能评估，得出了 100 个答案和 500 篇相关文章的链接。两个标注者评估了提供的答案的质量和链接的相关性。我们的结果表明，CORE-GPT 能够在绝大多数科学领域生成全面且可信赖的答案，同时提供真实且相关的科学文章的链接。

Jul, 2023

本文介绍了一个新的数据集 ReMuQ，针对跨媒体检索的任务，提出了一个直接处理文本和图像输入的 Retriever 模型 `ReViz`，并引入了一个新的预训练任务，实现了对多模态查询的知识检索，并在两个数据集上取得了优秀的检索效果。

Jun, 2023

提出一种名为 REACT 的框架用于获取相关网络知识以构建目标领域的定制视觉模型。该框架通过检索与预训练数据集最相关的图像 - 文本对作为外部知识源，并仅训练新的模块化块，冻结所有原始权重，证明了其在零、少、全样本设置下显著提高了分类、检索、检测和分割任务的成功率。

Jan, 2023

本文提出了一种端到端检索增强的视觉语言模型（REVEAL），它可以将世界知识编码到大规模存储器中，并从中检索以回答知识密集型查询。

Dec, 2022

本论文提出了 RECO 模型，该模型通过外部记忆检索获取精细化知识，应用于现有视觉文本模型中，并在 Stanford Cars、CUB-2011 和 OVEN benchmark 等多项任务中取得了显著性能提升。

Jun, 2023

提出了一种 “检索增强的多模态模型”，结合了预检索检索任务和预训练的模型，在图像生成和描述生成任务上实现了比以前模型更好的表现，同时大大降低了训练成本。

Nov, 2022

MM-REACT 是一种系统范例，将 ChatGPT 与一组视觉专家集成在一起，以实现多模态推理和动作，并引入了文本提示设计，以表示文本描述、已文本化的空间坐标和对齐的文件名来处理多模态信息。

Mar, 2023

该论文通过对现有公开的多模态模型进行综合研究，评估它们在文本识别、基于文本的视觉问题回答和关键信息提取等任务中的性能，发现这些模型主要依赖于语义理解进行字识别，对单个字符形状的感知较差，同时对文本长度漠不关心，无法有效检测图像中的细粒度特征，在传统文本任务中尚无法与领域特定方法相媲美，面临更大的挑战。

May, 2023

本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。

Feb, 2020

MuRAG 是第一个多模态检索增强变压器，利用外部非参数多模态存储器来增强语言生成，并在 WebQA 和 MultimodalQA 两个数据集上实现了最新的准确性，优于现有模型 10-20％绝对值。

Oct, 2022