Dec, 2020

KRISP: 整合隐式与符号知识用于开放领域基于知识的视觉问答

PDF
TL;DR本文研究了视觉问答中的开放域知识问题，并提出了一种结合隐式知识和符号知识表示的方法 KRISP，大大提高了模型的性能和泛化能力。
vqaopen-domain knowledgeimplicit knowledgeexplicit knowledgekrisp
发现论文，激发创造
  • 视觉和语言推理：探索补充知识的益处

    本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

    Jan, 2021

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • KAT：一种知识增强的视觉与语言 Transformer 模型

    本文介绍了一种新型多模态转换方法 - 知识增强变压器（KAT），该方法在 OK-VQA 上取得了强有力的最新结果，同时还提高了模型预测的可解释性。

    Dec, 2021

  • 开放域问答系统能回答视觉知识问题吗？

    本研究提出了一种基于文本的视觉问题解答系统，此系统无需额外外部知识，仅利用 BERT 模型进行重新提问，表现优异，且仅使用训练数据的 10％。

    Feb, 2022

  • 开放领域问答的知识融合和语义知识排名

    本文提出一种基于语义知识排名模型和知识融合模型的开放领域问答方法，该方法通过整合基于 Lucene 的信息检索系统检索的知识和 BERT 语言模型中的外部检索知识，以正确回答问题。研究表明，基于知识融合模型的方法优于之前的尝试。

    Apr, 2020

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 基于不确定性的视觉问答：估计图像与知识库间的语义不一致性

    本研究提出了一种基于语义不一致度量的新型外部知识同化方法，应用到知识型视觉问答中，旨在减少添加无关信息对问答的干扰并融合含蓄和显式知识，评估结果表明该方法具有最先进性能。

    Jul, 2022

  • 利用动态记忆网络结合外部知识回答开放式视觉问题

    本文提出了一种基于动态记忆网络和外部知识库的 VQA 算法，通过对外部知识的检索和动态记忆网络对知识和图像的关注与推理，有效地回答包括开放领域问题在内的更复杂问题，并在视觉问答任务中取得了最好的表现。

    Dec, 2017

  • 基于开放集和知识的视觉问答与推理路径

    知识引导的视觉问题回答（KB-VQA）通过外部知识库的辅助，为图像和相关的文本问题提供正确答案。本文提出了一种名为 Graph pATH rankER（GATHER）的新型 KB-VQA 框架，通过构建图、修剪和路径级别排序，不仅能够准确检索答案，还提供解释推理过程的路径。通过在真实世界问题上的广泛实验，证明了该框架不仅能够在整个知识库上进行开放式问题回答，还能提供明确的推理路径。

    Oct, 2023

  • 神经符号 VQA: 从视觉和语言理解中分离推理

    该论文介绍了神经符号视觉问答系统，结合深度表示学习和符号程序执行，具有更好的数据和内存效率以及对推理过程的全透明度。

    Oct, 2018