ACLMay, 2020

跨媒体结构化共同空间用于多媒体事件抽取

PDF
TL;DR该研究提出了一个新的任务 —— 多媒体事件抽取 (M2E2)，旨在从多媒体文档中提取事件及其参数。研究使用弱监督训练策略，建立多媒体事件抽取的基准测试和数据集，并提出了一种新的方法 WASE，可将文本和视觉数据的语义信息编码到共同的嵌入空间中，并取得了较好的效果。
multimedia event extractiontextualvisual datastructured embeddingweakly supervised training
发现论文，激发创造
  • 视频和文章的联合多媒体事件抽取

    本篇论文介绍了一种新的视频多媒体事件提取（Video M2E2）任务以及两个创新组件，用于构建该任务的第一个系统。该方法能够从视频和文本文档中提取结构化事件信息，未来将会公开发布包括 860 对视频 - 文章对的新基准。实验结果证明了该方法在新基准数据集上的有效性。

    Sep, 2021

  • MMUTF: 统一模板填充的多模态多媒体事件论元抽取

    通过引入统一的模板填充模型，我们的方法可以连接文本和视觉模态，并通过文本提示实现跨本体转移和事件特定语义的整合。在 M2E2 基准上的实验证明了我们方法的有效性，我们的系统在文本 EAE 上超过当前的最佳方法 7% F1，且在多媒体 EAE 方面表现普遍更优秀。

    Jun, 2024

  • 利用生成的图像和字幕训练多媒体事件提取

    本文提出了一个名为 CAMEL 的跨模态增强多媒体事件学习方法（Cross-modality Augmented Multimedia Event Learning），它使用了人工生成的多模态训练数据，实现了领先水平，并在多媒体事件提取方面优于现有研究。

    Jun, 2023

  • 多模态事件图：走向多模态世界的事件中心理解

    本研究提出了多模态事件关系的新任务，并开发了一个大规模数据集和一种基于外部知识库的弱监督多模态方法，为人工智能系统实现媒体理解和跨媒体事件关系建立提供了支持。

    Jun, 2022

  • 结构语义匹配实现联合事件抽取

    本研究提出了一种基于深度学习的 NLP 模型，利用语义类型嵌入和动态结构编码器模块进行事件抽取和论证角色提取，用于信息抽取的关键任务之一的事件提取，并在 ACE2005 数据集上取得了显著的性能提升。

    Jun, 2023

  • 基于文本推理的事件论元提取：多源学习实现零 - 和少样本

    本文通过使用预训练推理模型，将事件论元抽取等 NLP 任务转化为文本蕴涵任务，证明了文本蕴涵模型在复杂任务中同样有效，且可以大幅减少人工标注量和依赖于特定领域语料库的限制。使用多份蕴涵数据集来预训练模型是获得优异结果的关键。

    May, 2022

  • 超越单事件提取：迈向高效的文档级多事件论证提取

    提出了一种多事件论证提取模型 DEEIA (Dependency-guided Encoding and Event-specific Information Aggregation)，该模型能够同时从文档中提取所有事件的论证，并能够在四个公共数据集上达到最新的最佳性能，并显著节省推理时间。

    May, 2024

  • 条件生成实现的文档级事件论元抽取

    本文提出了一种文档级神经事件关系抽取模型，将其作为一种条件生成的过程，并使用事件模板。此外，作者构建了一个新的包含完整事件和共指注释的文档级事件抽取数据集 WikiEvents。研究结果表明，该模型在事件论证抽取方面取得了较好的性能，并展示了零样本事件提取框架的可移植性。

    Apr, 2021

  • 基于注意力图信息聚合的联合多事件抽取

    本文提出了一种新的 Jointly Multiple Events Extraction (JMEE) 框架，采用语法快捷弧增强信息流和基于注意力机制的图卷积网络建模图信息，实现了同时提取多个事件触发器和参数，结果显示该框架与现有方法竞争性强。

    Sep, 2018

  • 事件论元抽取的资源增强神经模型

    该研究提出了利用语法引导 transformer 的长距离依存关系，来提高事件面向序列编码的实体识别性能。在 ACE2005 数据集上，该方法取得了新的最高性能。

    Oct, 2020