EMNLPAug, 2018

多模态微分网络用于视觉问题生成

PDF
TL;DR该研究提出使用范例获取相关语境，利用多模式差分网络生成自然而富有吸引力的问题，此方法在定量指标（BLEU，METEOR，ROUGE 和 CIDEr）方面取得了显著的改进，生成的问题与自然问题的相似性经过人类研究验证。
natural questionsimagemultimodal representationsexemplarsquantitative metrics
发现论文，激发创造
  • 基于场景的视觉问题的自动生成

    本文提出了一种模型，能够从单个图像中生成具有不同类型的视觉问题。通过采样最可靠的问题类型来自动生成问，该方法在两个真实世界数据集上的实验结果表明，我们的模型在正确性和多样性方面都优于最强基线。

    Dec, 2016

  • 多模态图神经网络用于视觉场景联合推理

    利用多模式图神经网络（MM-GNN）作为一种视觉问答（VQA）方法，通过将图像表示为由三个子图组成的图形，利用场景文本中的各种信息来提高节点特征，从而显著提高需要阅读场景文本的两项 VQA 任务的性能。

    Mar, 2020

  • ConVQG：带有多模态引导的对比式视觉问句生成

    通过使用对比可视化问题生成（ConVQG）方法，我们成功地提出了一种生成基于图像、文本约束以及知识的对比问题的方法，实验证明 ConVQG 在相关性、图像相关性和知识丰富性等方面优于现有方法，并通过人类评估显示对 ConVQG 问题的偏好。

    Feb, 2024

  • 多模态对话回应生成

    本论文提出了一种多模态对话生成模型，通过一种新颖的会话代理 Divter，该模型在低资源情况下学习多模态对话，利用文本和图像对对话历史进行响应，并取得了最先进的结果。

    Oct, 2021

  • 生成关于图像的自然问题

    探索了关于一张图片是如何引发常识推理和抽象事件的问题，提出了一项新颖任务视觉问题生成（VQG），该系统的任务是在展示了一张图片后提出自然而引人入胜的问题，我们提供了三个数据集，涵盖了从目标为中心到事件为中心的各种图像，其中训练数据远比现有最先进的字幕系统提供的数据更抽象，通过训练和测试几种生成和检索模型来解决 VQG 这个任务，评估结果表明，尽管这样的模型为各种图像提出了合理的问题，但与人类性能的差距仍然很大，这激发了我们进一步探索将图像与常识和语用知识联系起来的相关研究。

    Mar, 2016

  • Multi-VQG：为多张图片生成引人入胜的问题

    本文提出基于多张图片生成引人入胜的问题的方法，所建立的 MVQG 数据集以及基于端到端和双阶段体系结构的一系列基线模型表明，建立图像序列背后的故事能够使模型生成更有趣的问题。

    Nov, 2022

  • 具有自然语言查询的视觉定位和检测的判别式双模网络

    该研究提出了一种基于区分式双模神经网络 (DBNet) 的方法来实现自然语言及视觉表述中的视觉实体定位，通过为分类器提供丰富的负例样本进行训练，结合广泛的文本短语，正确地将图像区域与文本短语成对为正负例，据实验证明，该方法比现有最先进方法在单个图像和多个图像上的定位以及检测都要更为准确。

    Apr, 2017

  • 基于多视角注意力网络的视觉对话

    论文旨在通过提出 Multi-View Attention Network (MVAN) 模型来解决视觉对话任务中的挑战性问题，该模型基于注意机制，利用多个视角来处理异构输入，并且通过序列对齐过程构建多模态表示，从而可以更好地捕捉到对话历史中与问题相关的信息，并在 VisDial v1.0 数据集上达到了最佳结果。

    Apr, 2020

  • 机器阅读理解中的双向问答网络

    该论文提出了一种新颖的双向神经序列转换模型，能够同时学习阅读理解中的三种知识输入方式，即问题、答案和上下文，并通过分层注意力过程对不同形态之间的交互信息进行捕捉和建模。该模型在四个公开数据集上的表现优于其他同类神经网络模型，尤其在问题回答和生成双方面具有更广泛的应用前景。

    Sep, 2018

  • 基于图片 - 问题 - 答案协同的视觉对话网络

    本研究提出了一种图像 - 问题 - 答案协同网络来评估答案的作用，该网络将传统的一阶段解决方案扩展为两个阶段，并在 Visual Dialog v1.0 数据集中取得了最新的最高成果。

    Feb, 2019