本文介绍了一个基于查询的多模态知识库完成系统，其通过融合非结构化和结构化信息的多模态知识图，提出了一种多模态路径融合算法来排列候选答案，并利用查询驱动技术提高了系统效率，以证明该系统的高效性和有效性。

Dec, 2022

该论文提出了一种基于网络的问题回答系统，运用多模式融合的结构化和非结构化信息，用以填补知识库中的缺失信息，并通过该系统对问题模板进行提取和组合，结合结构化信息和网络上的非结构化信息，从而达到知识库补全的目的。

Nov, 2022

本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

Aug, 2020

我们分析了基于知识的视觉问答，研究问题是：1）我们能通过显式有监督检索相关知识解决知识库 - 视觉问答问题吗？2）任务特定模型和预训练语言模型在视觉和外部知识的整合以及多跳推理方面的表现如何？3）预训练语言模型的隐式知识足够用于知识库 - 视觉问答吗？结果表明，将特定任务和预训练语言模型与显式的外部和视觉知识检索模型相结合可以取得良好效果。预训练语言模型在 1 跳推理方面更强，但在 2 跳推理方面不如我们精调的神经网络模型，尽管两种模型都可以获取两种信息的相关信息。此外，我们观察到预训练语言模型在与知识库相关的问题上优于神经网络模型，这证实了预训练语言模型中隐式知识的有效性，然而，它们并不能代替对外部知识的需求。

Apr, 2024

使用来自大规模知识库的信息来推理图片内容，解释推理过程并回答自然语言问题的视觉问答方法，比主流的长短时记忆方法更能回答复杂问题且表现明显更好，同时提供了数据集和协议来评估这类方法。

Nov, 2015

基于知识的视觉问答（KVQA）对于利用外部知识，如知识图谱（KGs）来回答视觉问题进行了广泛研究。本文提出了一种新颖的 LLMs 模态感知集成方法（MAIL），用于 KVQA，它巧妙地利用多模态知识进行图像理解和知识推理，并在两个基准数据集上的实验证明了 MAIL 的卓越性能。

Feb, 2024

本文介绍了一种基于学习嵌入空间的方法来解决知识库交互中的同义词和同形异义词问题，并在基于事实的视觉问答数据集上取得了超过 5％的最优结果。

Sep, 2018

用于知识驱动的视觉问答的大规模多模型训练和评估框架 M2KR，通过发展 PreFLMR 模型，在一系列任务中取得了最新的最先进的结果，并研究了 PreFLMR 的扩展性行为，为未来的多模型检索系统开发提供了有用的参考。

Feb, 2024

我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练，最后，我们提出了知识引导的生成策略，在解码步骤中施加先验约束，促进独特知识线索的生成，在三个基准测试中实验证明，与强基线方法相比，在所有评估指标上均取得了 3.0% 到 14.6% 的显著改进。

Jan, 2024

本文综述了近年来解决复杂问题的知识库问答的最新进展，介绍了语义分析和信息检索方法，总结了这两类方法在回答复杂问题时遇到的挑战，并详细解释了现有工作中使用的先进解决方案和技术，最后探讨了与复杂 KBQA 相关的若干有前途的研究方向。

Aug, 2021