AAAIMay, 2020

DramaQA：基于角色的视频故事理解与分层问答

PDF
TL;DR本研究提供了一种综合理解视频故事的新的视频问答（Video QA）任务，名为 DramaQA，使用层次化的问题回答和基于人类认知过程的评估标准，以及基于角色的视频注释来建模故事的局部连贯性。研究者们还提供了一个多层级上下文匹配模型来回答问题，并公开了相关数据及模型。
video story understandingvideo qadramaqacharacter-centered video annotationsmulti-level context matching model
发现论文，激发创造
  • 角色至上：基于角色感知关系的视频故事理解

    我们提出了一种基于人物感知关系的视频故事问题回答模型，它通过多示例共现匹配实现弱监督人脸命名，并利用 Transformer 结构支持高水平推理。我们在 TVQA 数据集上进行了训练和测试，并通过广泛的消融研究验证了我们提出的方法。

    May, 2020

  • 构建视频故事理解的分层问答数据集

    本文提出了一种分层方法来构建 Q&A 数据集，介绍了视频故事理解的三个标准：记忆容量、逻辑复杂度和 DIKW 金字塔，并讨论了如何从这些标准构建三维图来评估与视频故事理解相关的智能水平。

    Apr, 2019

  • DeepStory: 基于深度内嵌记忆网络的视频故事问答

    通过使用大量卡通视频学习，我们展示了 AI 代理执行视频故事问答的可能性。我们的深度嵌入记忆网络 (DEMN) 模型使用观测数据的潜在嵌入空间重构场景 - 对话视频流中的故事，并将视频故事存储在长期记忆组件中。对于给定的问题，基于 LSTM 的注意力模型使用长期记忆来召回包含关键信息的特定单词的最佳问题 - 故事 - 答案三元组。我们在一个新的儿童卡通视频系列 Pororo 的 QA 数据集上训练了 DEMN，并且实验结果表明 DEMN 在 QA 上优于其他模型，这主要得益于 1）利用潜在嵌入对场景 - 对话组合形式的视频故事进行重构，2）使用了注意力。DEMN 还在 MovieQA 基准测试上实现了最先进的成果。

    Jul, 2017

  • 视频问答中对话的隐藏宝藏

    该研究提出了一种新方法，通过将对话汇总成文本描述的方式，摆脱人工制作的来源，以理解整个故事，从而使得视频问答系统在不使用特定问题的人类注释或人工情节概述的情况下在 KnowIT VQA 数据集上明显胜过现有技术，并且甚至胜过从未观看过整个剧集的人类评估者。

    Mar, 2021

  • 电影问答：通过问题回答理解电影故事

    MovieQA 数据集旨在评估从视频和文本中自动理解故事。该数据集包含大量关于 408 部电影的 14,944 个问题，是多种信息源的独特组合 —— 视频剪辑，情节，字幕，脚本和 DVS 等。研究人员对其进行了统计和方法分析，可扩展为现有 QA 技术，以展示具有这种开放式语义的问答是困难的。

    Dec, 2015

  • 视频问答的分层面向对象时空推理

    通过提出一种基于对象导向推理的动态交互视频场景中的视觉物体关系、行为和事件的深度神经网络模型（HOSTR），能够在多个视频问题回答基准数据集中取得最新的最高成就并显示出其可靠性、可解释性和高效性。

    Jun, 2021

  • TVQA: 本地化、组合式视频问答

    本文提出 TVQA，一个基于 6 个流行电视节目的大规模视频问答数据集，共计包含 152,545 对 QA 对，分布在 21,793 个片段中，共涵盖了 460 小时的视频。该数据集中的问题具有组合性质，需要系统联合定位剪辑中的相关片段，理解基于字幕的对话，并识别相关的视觉概念。作者提供了该数据集的分析以及几个基线模型和一个多流端到端可训练的神经网络框架。

    Sep, 2018

  • MarioQA：通过观看游戏玩法视频来回答问题

    本文提供了一个分析影片问答模型的框架，并利用可自定义的合成数据集对其进行分析，以了解对视频事件的时间依赖性进行推理的能力，验证了数据集中包含不同复杂度事件的重要性，以学习有效模型并改善整体性能。

    Dec, 2016

  • 用于视频问答的结构化双流注意力网络

    本文提出了一种结构化的双流注意力网络（STA）来解决视频问答（VQA），该网络可以识别视频中的长时空结构和文本特征，并将视觉与文本融合以提供准确的答案，在大规模视频 QA 数据集 TGIF-QA 上实验表明，STA 可将 Action，Trans，TrameQA 和 Count 任务的最佳效果提高 13.0％，13.5％，11.0％和 0.3％，在 Action，Trans，TrameQA 任务上也比最佳竞争对手提高 4.1％，4.7％和 5.1％。

    Jun, 2022

  • 通过文本理解视频场景：来自基于文本的视频问答的洞察

    研究人员广泛研究了视觉和语言领域，发现理解场景需要理解视觉和文字内容，特别是在视频中理解文字对于回答问题非常重要。本文集中探索了两个最近推出的数据集，NewsVideoQA 和 M4-ViteVQA，这两个数据集旨在通过文字内容进行视频问答。NewsVideoQA 数据集包含与新闻视频中的文本相关的问答对，而 M4-ViteVQA 包含来自不同类别（如视频博客、旅游和购物）的问答对。我们在各个层面上分析了这些数据集的构建情况，探讨了回答问题所需的视觉理解和多帧理解的程度。此外，本研究还进行了与仅文本模型 BERT-QA 的实验，结果显示在这两个数据集上，BERT-QA 的表现与原始方法相当，指示了这些数据集构建上的不足之处。此外，我们还探讨了域适应方面的问题，通过在 M4-ViteVQA 上进行训练并在 NewsVideoQA 上进行评估以及反之，从而探讨了跨领域训练的挑战和潜在好处。

    Sep, 2023