Jul, 2022

LaKo: 基于知识驱动的视觉问答，通过后期知识注入到文本中

PDF
TL;DR本文提出了一种知识驱动的视觉问题回答方法，通过后期注入机制将知识图谱中的三元组转化为文本格式，采用有效的编码器 - 解码器模型以将 VQA 任务视为文本生成任务，取得了 OKVQA 数据集上的最佳效果。
visual question answeringknowledge-drivenknowledge graphstext generation taskencoder-decoder paradigm
发现论文，激发创造
  • 视觉和语言推理：探索补充知识的益处

    本文研究了将通用知识库中的知识注入视觉 - 语言模型中，并通过辅助训练目标增加了语义和关系知识的表征，实现了对问题回答、视觉推理等任务中的性能提升，这种技术不依赖于特定的模型，具有较小的计算开销。

    Jan, 2021

  • 精确赋能，过度分散：动态注入语言模型中的视觉问答知识

    通过提供来自知识图谱中提取的相关外部知识，我们通过增强问题并实现可变数量的三元组，为知识增强的视觉问答模型带来了平均 4.75％的准确匹配得分提升，并展示了其在推理能力和泛化能力方面的优势。

    Jun, 2024

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 基于零样本知识生成的基于知识的视觉问答

    基于预训练语言模型的知识生成方法在知识型视觉问答方面表现优于以往零样本方法，生成的知识普遍相关且有帮助。

    Feb, 2024

  • 基于知识的视觉问答的简单基准

    这篇研究论文介绍了一种基于知识的视觉问答（KB-VQA）问题的方法，通过在上下文中进行高效的学习，使用问题相关的标题作为上下文信息，而无需训练或访问外部数据库或 API，实现了最先进的准确度。

    Oct, 2023

  • 基于不确定性的视觉问答：估计图像与知识库间的语义不一致性

    本研究提出了一种基于语义不一致度量的新型外部知识同化方法，应用到知识型视觉问答中，旨在减少添加无关信息对问答的干扰并融合含蓄和显式知识，评估结果表明该方法具有最先进性能。

    Jul, 2022

  • 开放域问答系统能回答视觉知识问题吗？

    本研究提出了一种基于文本的视觉问题解答系统，此系统无需额外外部知识，仅利用 BERT 模型进行重新提问，表现优异，且仅使用训练数据的 10％。

    Feb, 2022

  • 基于知识的 VQA 的知识浓缩和推理

    我们提出两个协同模型：知识浓缩模型和知识推理模型。这两种浓缩的知识被无缝地集成到我们的知识推理模型中，巧妙地导航综合信息以得出最终答案。与以前的方法相比，我们的方法在基于知识的 VQA 数据集上（OK-VQA 的 65.1％，A-OKVQA 的 60.1％）取得了最先进的性能，而不依赖 GPT-3（175B）生成的知识。

    Mar, 2024

  • 从已知到未知：迁移知识以回答关于新视觉和语义概念的问题

    为了应对在 Open-world 情境下出现的语言和视觉上未知概念对 Visual Question Answering 系统的影响，我们提出了一种基于示例的方法，用于从先前的已知概念中转移学习，以回答有关未知概念的问题，此外，我们提出了一种高效的匹配方案，以有效处理大规模基准数据集中的高维示例信息。

    Nov, 2018

  • 使用知识图谱的零样本视觉问答

    本研究提出了一种使用知识图谱和基于掩码的学习机制来更好地结合外部知识的零样本 VQA 算法，并在 F-VQA 数据集上提出了新的基于答案的零样本 VQA 切分。实验表明，我们的方法在处理未见过的答案方面可以实现最先进的性能，并显著增强现有的端到端模型在正常的 F-VQA 任务上的表现。

    Jul, 2021