Nov, 2023

事件提取的再评估：过去、现在和未来的挑战

PDF
TL;DR本文讨论和解决事件提取评估中的挑战，并提出了 TextEE 作为一个标准化、公平和可重现的事件提取基准，包含了多个领域的标准化数据预处理脚本和数据集切分，重新评估了多个事件提取方法，并探索了大型语言模型在事件提取中的能力和未来挑战。
event extractionevaluation challengestexteebenchmarklarge language models
发现论文，激发创造
  • 细节决定成败：事件抽取评价的陷阱

    本论文旨在检查事件提取（EE）评估的可靠性，并确定三个主要问题：数据预处理差异，输出空间差异和缺乏管道评估。通过综合元分析和实证实验，我们展示了这些问题的显著影响，并提出了一系列解决方案，包括指定数据预处理、标准化输出，提供管道评估结果。为了帮助实施这些解决方案，本论文还开发了一个一致的评估框架 OMNIEVENT。

    Jun, 2023

  • 事件提取：综述

    本综述介绍了从文本中检测事件的方法，探讨了任务定义、评估方法、基准数据集和方法学的分类，并展望了事件检测的未来研究方向。

    Oct, 2022

  • 基于上下文线索的语音事件提取

    我们介绍了一种从语音信号中提取事件的新方法 ——Speech Event Extraction (SpeechEE)。我们提出了一种序列到结构生成范例，可以在端到端的方式上从语音信号中生成事件，并利用语音识别转录作为上下文线索的生成方法。实验结果显示，我们的方法在所有数据集上都取得了显著的改进，最大 F1 增益达到了 10.7%。

    Jan, 2024

  • 用大规模中文标题数据集基准测试开放式事件提取

    本文提供了一个大规模句子级别数据集，对开放式事件抽取进行基准测试，其中包含来自中国网页的 34000 多个新闻标题，为当前事件抽取问题上的高级研究提供了重要的依据。

    Nov, 2022

  • 在基于问答的事件提取中迈向更好的问题生成

    通过利用强化学习方法，我们提出了四个评估问题质量的标准，并在基于问题回答的事件提取中生成了流畅、具有概括性和上下文相关性的问题，从而为 QA 模型提供了明确的指导。在 ACE 和 RAMS 数据集上进行的广泛实验证实了我们方法的有效性，同时也展示了它在训练数据有限的情况下的鲁棒性。

    May, 2024

  • MEE：一份新颖的多语言事件提取数据集

    提出了一种新的跨语言的事件抽取数据集，称为 MEE，其中注释了 8 种具有不同语言类型的语言中的 50000 多个实体提及、事件触发和事件参数。在此数据集上进行的实验发现多语言事件抽取的挑战和机遇。

    Nov, 2022

  • 从文本文档中检测和提取事件

    本文探讨了如何从文本中挖掘事件和附带信息，主要应用了机器学习技术进行事件检测和摘要，并讨论了在医学和 Twitter 上运用的应用和未来挑战

    Jan, 2016

  • 推动 100 多种事件类型的事件参数提取的泛化极限

    该研究介绍了一个新的数据集 GENEVA，涵盖了 115 个事件和 187 个参数角色，用于评估不同方面的模型泛化能力，并比较不同模型的相对普适性，最后提出了 SCAD 新模型，其性能优于以前的模型，并为这些测试套件提供强大的基准。

    May, 2022

  • 探索 ChatGPT 在事件提取中的可行性

    本文研究了用 ChatGPT 进行事件抽取的可行性并探究了遇到的挑战，结果表明 ChatGPT 在长尾和复杂情况下只有任务特定模型 EEQA 的 51.04％的性能，ChatGPT 不够稳定，继续改进提示不会导致稳定的性能提高，而且 ChatGPT 对不同的提示风格非常敏感。

    Mar, 2023

  • 使用去噪结构 - 文本增强提升事件抽取

    本文提出了一种通过知识基础结构生成模型和深度强化学习代理程序迭代地从中选择有效子集的去噪结构生成增强框架（DAEE），以解决事件提取任务中语法不正确、结构不对齐和语义偏差等问题，并在多个数据集上进行试验，结果表明该方法生成了更多元化的事件提取文本表示，并取得了与最先进技术相当的效果。

    May, 2023