Aug, 2013

联合视频和文本解析：理解事件和回答查询

PDF
TL;DR本文提出了一种视频和文本联合解析的框架，通过使用基于空间、时间和因果关系的 And-Or 图对视频和文本的信息进行深层语义解析，旨在推动生成叙述性文本描述和问答等应用。其中，视频解析、文本解析和联合推理三个模块组成了该联合解析系统，通过匹配、推断和修改来产生联合解析图，进一步提高了查询准确性。
joint parsingvideo understandingtext understandingcausal relationshipssemantic parsing
发现论文，激发创造
  • 基于场景的跨视角视频联合解析

    本文研究跨视角视频理解的联合分析框架，将视角为中心的建议集成到场景为中心的解析图中，以表示跨视角场景的连贯场景为中心的理解，生成语义场景为中心的解析图。定量实验表明，解析图中的场景为中心的预测优于视角为中心的预测。

    Sep, 2017

  • 分层图推理的细粒度视频文本检索

    提出一种基于 Hierarchical Graph Reasoning (HGR) 的模型，将 video-text matching 分解成全局到局部的语义层次；通过基于注意力的图推理生成层次化的文本嵌入，进而引导学习多样化和分层的视频表示，并通过整合不同的 video-text 层次的匹配来捕获全局和局部细节，从而实现视频和文本之间的交叉检索。

    Mar, 2020

  • 航拍视频中群组、事件和人物角色的联合推断

    本文主要研究在无人机遥控操作下进行航拍，通过使用新的基于时空的模板和基于马尔科夫链蒙特卡罗和动态规划的联合推理方法，在具有挑战性的条件下成功地实现了人群事件的检测、识别和角色分配等任务。

    May, 2015

  • 事件关系抽取的联合约束学习

    提出了一种联合约束学习框架来对事件 - 事件关系进行建模，这种方法有效弥补了联合标记数据的缺失，并在时间关系提取和事件层级构建方面优于现有的方法，同时也可在外部语料库上诱导事件复合体的有效性。

    Oct, 2020

  • 视频和文章的联合多媒体事件抽取

    本篇论文介绍了一种新的视频多媒体事件提取（Video M2E2）任务以及两个创新组件，用于构建该任务的第一个系统。该方法能够从视频和文本文档中提取结构化事件信息，未来将会公开发布包括 860 对视频 - 文章对的新基准。实验结果证明了该方法在新基准数据集上的有效性。

    Sep, 2021

  • SPOT！重新审视视频语言模型用于事件理解

    利用网络爬取的大规模视频 - 文本对数据作为弱监督，视频理解模型的能力在事件层面的差异中辨别和理解细粒度事件方面仍存在问题，通过提出 SPOT Prober 方法并进行实验证明，通过将操作后的事件描述插入作为难负样本能有效增强模型对事件理解的能力。

    Nov, 2023

  • EventGraph：事件提取作为语义图解析

    本文介绍了 EventGraph，一种将事件编码为图形的联合框架，通过将触发事件和参数表示为语义图形中的节点，以此来解决事件提取的问题，并表明该模型在 ACE2005 上达到了和最先进的系统一样的结果，并且在参数提取方面有了显著的改善。

    Oct, 2022

  • 视频中的话语解析：一种多模态方法

    本文提出 Visual Discourse Parsing 任务，通过识别视频场景来了解视频中场景之间的话语关系，并提出了一种不需要显式身份识别和注释场景的方法识别视觉话语线索。通过构建包含 310 个视频和相应话语线索的新数据集评估所提出的方法，这可能有助于诸如 Visual Dialog 和 Visual Storytelling 等领域的多学科 AI 问题的解决。

    Mar, 2019

  • 基于注意力图信息聚合的联合多事件抽取

    本文提出了一种新的 Jointly Multiple Events Extraction (JMEE) 框架，采用语法快捷弧增强信息流和基于注意力机制的图卷积网络建模图信息，实现了同时提取多个事件触发器和参数，结果显示该框架与现有方法竞争性强。

    Sep, 2018

  • 共享表示和结构预测的联合事件和时间关系抽取

    本文提出一种联合事件 - 时间关系抽取模型，借助于共享表示学习和结构化预测来避免传统管道系统中的错误传递，并在两个基准数据集上将端到端 F1 分别提高了 10％和 6.8％。

    Sep, 2019