Jun, 2024

MMUTF: 统一模板填充的多模态多媒体事件论元抽取

PDF
TL;DR通过引入统一的模板填充模型，我们的方法可以连接文本和视觉模态，并通过文本提示实现跨本体转移和事件特定语义的整合。在 M2E2 基准上的实验证明了我们方法的有效性，我们的系统在文本 EAE 上超过当前的最佳方法 7% F1，且在多媒体 EAE 方面表现普遍更优秀。
multimedia event extraction (mee)data augmentationevent argument extraction (eae)textual and visual modalitiescross-ontology transfer
发现论文，激发创造
  • 视频和文章的联合多媒体事件抽取

    本篇论文介绍了一种新的视频多媒体事件提取（Video M2E2）任务以及两个创新组件，用于构建该任务的第一个系统。该方法能够从视频和文本文档中提取结构化事件信息，未来将会公开发布包括 860 对视频 - 文章对的新基准。实验结果证明了该方法在新基准数据集上的有效性。

    Sep, 2021

  • 跨媒体结构化共同空间用于多媒体事件抽取

    该研究提出了一个新的任务 —— 多媒体事件抽取 (M2E2)，旨在从多媒体文档中提取事件及其参数。研究使用弱监督训练策略，建立多媒体事件抽取的基准测试和数据集，并提出了一种新的方法 WASE，可将文本和视觉数据的语义信息编码到共同的嵌入空间中，并取得了较好的效果。

    May, 2020

  • 利用生成的图像和字幕训练多媒体事件提取

    本文提出了一个名为 CAMEL 的跨模态增强多媒体事件学习方法（Cross-modality Augmented Multimedia Event Learning），它使用了人工生成的多模态训练数据，实现了领先水平，并在多媒体事件提取方面优于现有研究。

    Jun, 2023

  • MEE：一份新颖的多语言事件提取数据集

    提出了一种新的跨语言的事件抽取数据集，称为 MEE，其中注释了 8 种具有不同语言类型的语言中的 50000 多个实体提及、事件触发和事件参数。在此数据集上进行的实验发现多语言事件抽取的挑战和机遇。

    Nov, 2022

  • 多模态问题回答的统一信息提取

    利用我们提出的多模态问答（MQA）框架，将多模态信息提取（MIE）任务统一为一个统一的片段提取和多项选择问答流水线，从而提高了各种类型的现成大型多模态模型在 MIE 任务上的性能，特别是在零样本和少样本情况下，我们的框架能够使 LMM 在与 ChatGPT 和 GPT-4 等更大的语言模型竞争或超越的 10B 参数尺度上获得更好的表现，从而将 MQA 框架作为利用 LMMs 解决 MIE 和其他下游多模态任务的一般原则。

    Oct, 2023

  • 双向迭代 Prompt 调整用于事件论元提取

    本文提出了一种双向迭代 prompt-tuning 方法用于事件论元提取，将该任务视为填空式任务以充分利用实体信息和预训练语言模型（PLMs），通过引入上下文实体的论据角色来探索事件论证交互，并利用角色标签语义知识构建语义化言化器并为 EAE 任务设计三种模板，在 ACE 2005 英文数据集上进行有效性实验。

    Oct, 2022

  • 多模态实体对齐中的不确定缺失和模糊视觉模态的重新思考

    在多模态实体对齐研究中，我们发现当前模型普遍面临视觉模态不完整性、遗漏模态和模态歧义带来的挑战。为了解决这些问题，我们提出了 UMAEA 方法，通过有效减少参数和时间消耗，显著超越现有基准，并成功缓解了其他模型存在的限制。

    Jul, 2023

  • 基于注意力图信息聚合的联合多事件抽取

    本文提出了一种新的 Jointly Multiple Events Extraction (JMEE) 框架，采用语法快捷弧增强信息流和基于注意力机制的图卷积网络建模图信息，实现了同时提取多个事件触发器和参数，结果显示该框架与现有方法竞争性强。

    Sep, 2018

  • 超越单事件提取：迈向高效的文档级多事件论证提取

    提出了一种多事件论证提取模型 DEEIA (Dependency-guided Encoding and Event-specific Information Aggregation)，该模型能够同时从文档中提取所有事件的论证，并能够在四个公共数据集上达到最新的最佳性能，并显著节省推理时间。

    May, 2024

  • UMIE: 统一多模态信息提取与指导调整

    多模态信息提取通过指令调整以解决当前面临的任务特定模型结构的持续问题，提供了一个统一的多模态信息提取器 UMIE，能够有效地提取文本和视觉提及，并在六个多模态信息提取数据集上的三个任务中在零样本模型、指令变体和可解释性方面都表现出强大的泛化能力。

    Jan, 2024