Mar, 2022

K-VQG: 基于知识的视觉问题生成，用于常识获取

PDF
TL;DR该研究通过构建一个基于知识的 VQG 数据集 K-VQG，引入了一个知识获取的角度，并开发了一种新的 VQG 模型，实验结果表明，该模型在 K-VQG 数据集上的表现优于现有的模型。
visual question generationknowledge acquisitionk-vqg datasetvqg modelexperiment results
发现论文，激发创造
  • 生成关于图像的自然问题

    探索了关于一张图片是如何引发常识推理和抽象事件的问题，提出了一项新颖任务视觉问题生成（VQG），该系统的任务是在展示了一张图片后提出自然而引人入胜的问题，我们提供了三个数据集，涵盖了从目标为中心到事件为中心的各种图像，其中训练数据远比现有最先进的字幕系统提供的数据更抽象，通过训练和测试几种生成和检索模型来解决 VQG 这个任务，评估结果表明，尽管这样的模型为各种图像提出了合理的问题，但与人类性能的差距仍然很大，这激发了我们进一步探索将图像与常识和语用知识联系起来的相关研究。

    Mar, 2016

  • ConVQG：带有多模态引导的对比式视觉问句生成

    通过使用对比可视化问题生成（ConVQG）方法，我们成功地提出了一种生成基于图像、文本约束以及知识的对比问题的方法，实验证明 ConVQG 在相关性、图像相关性和知识丰富性等方面优于现有方法，并通过人类评估显示对 ConVQG 问题的偏好。

    Feb, 2024

  • Multi-VQG：为多张图片生成引人入胜的问题

    本文提出基于多张图片生成引人入胜的问题的方法，所建立的 MVQG 数据集以及基于端到端和双阶段体系结构的一系列基线模型表明，建立图像序列背后的故事能够使模型生成更有趣的问题。

    Nov, 2022

  • 孟加拉语中的视觉问题生成

    研究文章提出了一种基于变压器编码器 - 解码器架构的孟加拉语视觉问题生成任务和多种模型变体，通过在给定图像的情况下生成孟加拉语问题，并在翻译 VQAv2.0 数据集上进行训练和评估，结果表明我们的模型能够生成语法正确和相关的问题。

    Oct, 2023

  • 基于跨模态知识推理的基于知识的视觉问答

    本文提出了基于多个知识图谱的知识的视觉问答模型，通过串联的 GRUC 模块，对不同模态的图像信息进行并行推理，最终利用图神经网络获得全局最优解，在三个流行基准数据集上获得新的 state-of-the-art 表现结果。

    Aug, 2020

  • 基于知识路线的视觉问答推理：深度表示嵌入的挑战

    提出了一种基于知识路线的视觉问题推理 VQA 模型评估数据集，通过控制程序来选择自然场景图和外部知识库中的三元组，强制进行多步推理，并平衡答案分布，以解决现有的 VQA 模型的浅层相关问题和注释程序不均衡的问题​​。

    Dec, 2020

  • 视觉问答的双重任务：视觉问题生成

    提出了 Invertible Question Answering Network (iQAN) 框架，该框架通过对 VQA 和 VQG 任务同时训练，利用图像中的问题和答案之间的互补关系，使用对应的参数共享方案和正则项来明确 Q，A 之间的依赖关系，并且明确地指导训练过程。通过在 CLEVR 和 VQA2 数据集上的评估，我们的 iQAN 在基线上提高了 VQA 的准确性，并表明 iQAN 的双学习框架可以推广到其他 VQA 体系结构，并持续改进结果。

    Sep, 2017

  • A-OKVQA: 利用世界知识的视觉问答基准

    介绍了 A-OKVQA 数据集，它包含了约 25000 个多样化的问题，需要广泛的常识和世界知识才能回答，相对于现有的基于知识的 VQA 数据集，这些问题通常不能通过简单地查询知识库来回答，而是需要对图像中所描绘的场景进行某种形式的常识推理，该数据集对几种最先进的视觉语言模型进行了基础性能测试。

    Jun, 2022

  • OK-VQA：需要外部知识的视觉问答基准

    本文提出了名为 OK-VQA 的基于知识的视觉问答基准，要求使用外部知识资源来回答问题，该任务是多样的、困难的和大型的，与以前的基于知识的 VQA 数据集相比具有更高的难度。

    May, 2019

  • 基于场景的视觉问题的自动生成

    本文提出了一种模型，能够从单个图像中生成具有不同类型的视觉问题。通过采样最可靠的问题类型来自动生成问，该方法在两个真实世界数据集上的实验结果表明，我们的模型在正确性和多样性方面都优于最强基线。

    Dec, 2016