ACLMar, 2022

ClarET: 面向事件生成和分类的相关性感知上下文到事件的预训练变形器

PDF
TL;DR本文提出了一种预训练的名为 ClarET 的通用事件感知上下文到事件转换器，以解决许多事件中心推理任务中上下文关联事件的生成问题。该方法具有很强的一般适用性和有效性。
发现论文，激发创造
  • 通过对比学习和可逆事件转换进行事件中心的问答

    本文提出了一种利用对比学习和可逆事件转换的新型 QA 模型 TranCLR，将语义向量转化为共同的事件嵌入空间，并利用标注的事件关系类型和事件感知问向量来微调转换矩阵，通过定性和定量的实验结果，在 ESTER 数据集上得到显著的改进，实现了将事件知识注入 QA 模型学习的可行性。

    Oct, 2022

  • 一个增强的跨注意力模型用于基于事件触发的上下文感知故事生成

    我们引入了一种新颖的神经生成模型 EtriCA，它通过采用交叉注意机制将上下文特征映射到事件序列上，通过残差映射增强了生成故事的相关性和连贯性。我们进一步采用了一个后训练框架对大规模书籍语料库进行知识增强，使得 EtriCA 能够适应更广泛的数据样本。大量实验证明了我们的模型在故事生成方面的卓越性能，并显示了它在改善生成叙述质量方面的有效性。

    Nov, 2023

  • 对比微调生成式脚本事件预测方法

    本文提出了一种基于事件中心预训练的生成式方法，其使用预先训练的语言模型 Fine-Tune 并通过对序列可能性的预测进行预测，从而软建模事件之间的关联。

    Dec, 2022

  • ECONET: 用于事件时间推理的有效连续预训练语言模型

    本文介绍了一种连续预训练的方法，通过自监督学习目标，强化了预训练模型对事件和时间信息的关注，提高了事件时间推理的能力，在五个任务上提高了模型的微调性能，并在大多数下游任务中获得了新的最先进表现。

    Dec, 2020

  • EtriCA: 事件触发的上下文感知故事生成，跨注意力增强

    本文介绍了一种名为 EtriCA 的新型神经生成模型，通过交叉注意机制将上下文特征和事件序列进行残差映射以提高故事生成的相关性和连贯性，实验证明 EtriCA 模型在利用上下文和事件特征方面比现有基线模型表现显著优越。

    Oct, 2022

  • 基于 BERT 上下文表示的文档内事件指代消解

    该研究基于 contextualized language representations 和 pretrained BERT model 开发了一种新的 event coreference 任务模型，通过训练神经网络分类器和简单的聚类算法，取得了 state-of-the-art 的实验结果。

    Feb, 2021

  • 事件和实体的跨文档指代消解的对比表示学习

    采用对比度表示学习方法的实体和事件共指解析技术，通过仅在推理时进行 n 个转换器计算的对比度学习技术，实现了对 ECB + 语料库关键指标的最先进结果和其他指标的竞争性。

    May, 2022

  • 上下文对比学习用于事件因果性鉴别

    该研究通过采用对比学习方法，利用正负样本来增强事件因果性识别的有效性，并应用于事件配对以更好地促进事件因果性识别，并在包括 EventStoryLine 和 Causal-TimeBank 在内的广泛使用的语料库上进行了评估，结果显示在最先进算法上有显著的性能提升。

    May, 2024

  • 基于提示的事件共指消解：通过测量事件类型和参数的兼容性

    事件指代消解的提问式模板方法（CorefPrompt）在单一模板中实现了事件建模和指代消解，并通过两个辅助任务明确展示了推理过程，提高了模型的预测能力。

    Oct, 2023

  • 多尺度对比协同训练用于事件时间关系抽取

    MulCo 是一种用于更好地融合 BERT 和 GNN 对本地和全局上下文特征的技术，通过对比 GNN 多层多跳子图（全局上下文嵌入）和 BERT 输出（本地上下文嵌入），MulCo 实现了 GNN 和 BERT 模块的协同参数化。MulCo 在多个时间关系提取数据集上取得了新的最先进结果。

    Sep, 2022