CVPRDec, 2015

电影问答：通过问题回答理解电影故事

PDF
TL;DRMovieQA 数据集旨在评估从视频和文本中自动理解故事。该数据集包含大量关于 408 部电影的 14,944 个问题，是多种信息源的独特组合 —— 视频剪辑，情节，字幕，脚本和 DVS 等。研究人员对其进行了统计和方法分析，可扩展为现有 QA 技术，以展示具有这种开放式语义的问答是困难的。
发现论文，激发创造
  • TVQA: 本地化、组合式视频问答

    本文提出 TVQA，一个基于 6 个流行电视节目的大规模视频问答数据集，共计包含 152,545 对 QA 对，分布在 21,793 个片段中，共涵盖了 460 小时的视频。该数据集中的问题具有组合性质，需要系统联合定位剪辑中的相关片段，理解基于字幕的对话，并识别相关的视觉概念。作者提供了该数据集的分析以及几个基线模型和一个多流端到端可训练的神经网络框架。

    Sep, 2018

  • 电影问答：我们是否在问正确的问题？

    本研究探讨电影问答数据集中存在的语言偏见，提出一个简单的模型，通过合适的词向量训练，能够在不考虑视频和字幕等故事情境的情况下，通过观察问题和答案来回答约一半的问题。与排行榜上发表的最佳论文相比，我们的简单问题 + 答案模型在视频 + 字幕类别精度提高了 5％，在字幕、DVS 和剧本方面精度更是提高了 15％，这表明使用适当的词向量训练能够大大提高问答准确度。

    Nov, 2019

  • 教学视频问题回答数据集

    提出了一种新的基于教学视频的问题回答任务，并介绍了一个包含约 6000 个三元组的数据集（视频，问题，回答跨度），并使用几个基准算法对其进行了实验，从而得出该任务的挑战性并呼吁探索新算法。

    Dec, 2019

  • NewsQA: 一个机器阅读理解数据集

    为了增加推理能力，我们通过四个阶段的过程收集有超过 10,000 篇 CNN 新闻文章的人类生成的问题 - 答案对的数据集 NewsQA，该数据集超过 100,000 个 QA 对，由众包工人提供，答案包含想对应文章的文本内容片段。人类的表现比现有神经模型的性能更好，这表明未来的研究可以在 NewsQA 上取得显著的进展。

    Nov, 2016

  • ReviewQA：一个基于关系和方面的意见阅读数据集

    本文介绍了一种基于酒店评论的问题回答数据集 ReviewQA，旨在评估模型的关联理解和能力，并提供了几种基线模型的实现。

    Oct, 2018

  • MoVQA：一项用于长篇电影理解的多功能问答基准

    为了解决当前长篇视频理解数据集的局限性，研究引入了 MoVQA 数据集和基准评估，以评估多模态系统对多级时间长度的多样化认知能力，同时设计了从观影者角度出发的多模态问答来评估模型在感知和认知多个方面的能力。经过分析，各种方法在处理视频和线索长度不断增加时性能显著下降，基准方法有所改进，但在挑战性的 MoVQA 数据集上仍有充分的提升空间。预计 MoVQA 提供新的视角，并激励针对长篇视频理解研究的启发性工作。

    Dec, 2023

  • 构建视频故事理解的分层问答数据集

    本文提出了一种分层方法来构建 Q&A 数据集，介绍了视频故事理解的三个标准：记忆容量、逻辑复杂度和 DIKW 金字塔，并讨论了如何从这些标准构建三维图来评估与视频故事理解相关的智能水平。

    Apr, 2019

  • 从数百万个叙述视频中学习回答问题

    本研究提出了一种使用自动跨模态监督和问题生成转换器生成问题和答案对的方法来生成大规模视频问答训练数据集，并提出了一种基于对比损失的训练程序来处理其多样的答案类型。通过实验证明，在 MSRVTT-QA、MSVD-QA、ActivityNet-QA 和 How2QA 等多个任务上，该方法明显优于现有技术。

    Dec, 2020

  • MarioQA：通过观看游戏玩法视频来回答问题

    本文提供了一个分析影片问答模型的框架，并利用可自定义的合成数据集对其进行分析，以了解对视频事件的时间依赖性进行推理的能力，验证了数据集中包含不同复杂度事件的重要性，以学习有效模型并改善整体性能。

    Dec, 2016

  • 从网络视频中学习回答视觉问题

    为了避免手动注释，提出了利用自动交叉模态监督生成视频问答数据集的方法，通过使用问题生成变形器从语音转录中生成问题 - 答案对，然后根据视频 - 问题多模式变形器和答案变形器之间的对比损失训练处理答案的多模式变形器，生成如何 VQA69M，WebVidVQA3M 和 iVQA 等不同数据集，结果表明在多个数据集上其结果优秀。

    May, 2022