GenEARL: 一个无需训练的多模态事件论元角色标注生成框架

Apr, 2024

GenEARL: 一个无需训练的多模态事件论元角色标注生成框架

GenEARL: A Training-Free Generative Framework for Multimodal Event Argument Role Labeling

Hritik Bansal, Po-Nien Kung, P. Jeffrey Brantingham, Kai-Wei Chang, Nanyun Peng

TL;DR在本文中，我们提出了 GenEARL，一种无需训练的生成框架，利用现代生成模型的能力来理解与图像背景相关的事件任务描述以执行 EARL 任务。该框架在 M2E2 和 SwiG 数据集上将对比预训练（CLIP）基准结果分别提高了 9.4％和 14.2％的零样本 EARL 准确率，并且在 M2E2 数据集上的精确度相较于 CLIP-Event 提高了 22％。该框架还允许对未见领域进行灵活的适应和推广。

Abstract

multimodal event argument role labeling (EARL), a task that assigns a role for each event participant (object) in an image is a complex challenge. It requires reasoning over the entire image, the depicted event, and the interactions between various objects participating in the event. E

multimodal event argument role labeling genearl generative framework image contexts zero-shot earl

发现论文，激发创造

CARLG：利用上下文线索和角色关联提高文档级事件论元提取

我们提出了 CARLG 模型，通过利用上下文线索和角色相关性，有效改进文档级事件论证提取，实验证明 CARLG 模型在多个数据集上优于现有方法，并且推理时间缩短了 31%。

Oct, 2023

跨语言零 - shot 事件论元抽取的多语言生成语言模型

本文介绍利用多语言预训练生成式语言模型进行零 - shot 的跨语言事件论元提取的研究。通过将 EAE 视为语言生成任务，论文提出的方法能够有效编码事件结构并捕获论元之间的依赖关系，提出了语言无关的模板以表示事件论元结构，从而适用于任何语言，最终在源语言训练模型，并直接应用于目标语言以实现事件论元提取。实验表明，所提出的模型在零 - shot 跨语言 EAE 方面优于当前最先进的模型，论文对它的优势和现有限制进行了全面的研究和误差分析。

Mar, 2022

CLIP-Event: 连接文本和图像的事件结构

本文提出了一种对视觉语言预训练模型进行对事件及相关参数角色理解的对比学习框架，并结合文本信息提取技术，利用多个提示函数来构造事件结构，设计基于最优传输的事件图形对齐损失来捕获事件参数结构，通过无监督学习进行预训练，并在零样本的情况下取得了优秀的性能。

Jan, 2022

MEEL: 多模态事件演化学习

通过多模态事件推理和多模态事件演化学习，本文提出一种能够使模型掌握事件演化机制、具有先进多模态事件推理能力的方法。

Apr, 2024

无监督的标签感知事件触发词和论元分类

本文提出了一种无监督事件抽取流程，使用先进的预训练语言模型并匹配语义，有效将事件映射到预定义的事件类型上，最终表现出色，成功地将 83% 的触发器和 54% 的参数映射到了正确类型。

Dec, 2020

带提示的全局约束的零样本事件论元分类

本文使用全局约束和提示来有效地处理事件参数分类，而无需任何标注和特定任务的训练，使用新的提示模板，可以轻松适应所有事件和参数类型，并且在多个数据集上实验证明了该方法的有效性。

Feb, 2023

E-CLIP: 通过 CLIP 实现高效标签的事件驱动开放式理解

提出了一种名为 E-CLIP 的框架，它通过引入新颖的事件编码器和文本编码器，以及原始图像编码器，采用层次三重对比对齐 (HTCA) 模块来优化相关性，实现三种模态之间的知识传递，并在 N-Caltech 数据集上在微调和少样本设置下将性能提升了 3.94% 和 4.62%。此外，E-CLIP 可以灵活地扩展到使用文本或图像查询的事件检索任务。

Aug, 2023

EventLens: 利用事件感知预训练和跨模态链接提升视觉常识推理

通过引入事件感知预训练辅助任务和跨模态链接，并使用指令式提示和任务特定适配器来提高大型语言模型在视觉常识推理任务上的效果。

Apr, 2024

基于提示的图模型用于联合自由事件抽取和事件模式归纳

事件抽取任务旨在识别和分类事件，并根据事件模式找到其参与者。我们提出了一种基于提示的图模型用于自由事件抽取，该模型使用基于提示的方法获取候选触发器和参数，并构建异构事件图来编码事件内部和事件间的结构。实验结果表明，我们的方法在预定义事件模式下或无预定义事件模式下都能取得出色的性能，并且自动检测到的事件模式质量高。

Mar, 2024

基于文本推理的事件论元提取：多源学习实现零 - 和少样本

本文通过使用预训练推理模型，将事件论元抽取等 NLP 任务转化为文本蕴涵任务，证明了文本蕴涵模型在复杂任务中同样有效，且可以大幅减少人工标注量和依赖于特定领域语料库的限制。使用多份蕴涵数据集来预训练模型是获得优异结果的关键。

May, 2022