ACLMay, 2018

过程文本状态变化跟踪：挑战数据集与模型

PDF
TL;DR该研究提出了一个针对描述动态世界的文本流程（例如光合作用）的新数据集和模型，并引入了两种利用 LSTM 输入编码和跨度预测进行状态预测的新型神经模型，从而实现对实体状态（位置和存在）进行全注释，并显著提高了准确率（高达 19%）。
发现论文，激发创造
  • 开放领域流程文本实体跟踪数据集

    本篇论文利用开放词汇表，提出一种新的任务形式，通过给定程序文本来生成每个步骤的状态更改元组，并使用众包创建数据集 OPENPI1，其中包含来自 WikiHow.com 中 810 个实际段落、4,050 个句子的 29,928 个状态更改，该任务的最新生成模型在此数据集上实现了 16.1％ 的 F1，留有足够的空间提出新的模型结构。

    Oct, 2020

  • 保持一致！使用标签一致性提高程序文本理解能力

    本文介绍了一种针对过程性文本理解的新型学习框架，通过利用独立描述的标签一致性，在训练时构建一致性偏差来提高性能。在 ProPara 数据集上的评估表明，该方法显著提高了先前最先进系统的预测性能（F1）。

    Jun, 2019

  • 跟踪离散和连续实体状态以了解过程

    本文提出了一种结构化的神经架构来跟踪实体的发展，包括每个实体的隐藏连续表达和全局离散状态结构，使用神经 CRF 来约束实体状态随时间的演变。我们在 ProPara 数据集上对该模型进行了评估，在 QA 任务中取得了最先进的结果。

    Apr, 2019

  • 多阶段训练的知识感知程序文本理解

    研究了手续性文本理解的挑战，发现外部知识注入和数据不足的问题，提出了一个多阶段训练的知识感知 KOALA 模型，最终在 ProPara 和 Recipes 数据集上达到了最先进的性能表现。

    Sep, 2020

  • 一切皆有因：在程序性文本中发现行动目的

    该研究目标在于通过开发新模型 XPAD，解释性地预测动作之间的依赖关系，以及扩展 ProPara 基准数据集来解释行动，结果表明 XPAD 在新的任务中显著优于之前的系统。

    Sep, 2019

  • 具有属性感知上下文流的程序性阅读理解

    该研究介绍了一种用于程序化阅读理解的算法，将文本转换成一般的形式，将过程表示为实体属性的转换序列，利用预训练的语言模型，同时预测实体属性和它们的转换，实现了对 ProPara 和 npn-cooking 两个数据集的最新成果。

    Mar, 2020

  • 注入常识知识对动作和状态变化的推理

    本文探讨了通过引入全局常识约束和利用大规模语料库的先验知识，将预测性文本描述中的操作和状态更改建模，从而提高神经结构预测模型的准确性和可靠性，并在基准数据集上展示了相对增益为 8％的结果。

    Aug, 2018

  • 利用机器阅读理解从文本构建动态知识图谱

    我们提出了一种神经机器阅读模型，它从过程文本中构建动态知识图，并利用它们来跟踪参与实体的演变状态，从而改善机器对文本的理解。

    Oct, 2018

  • PROC2PDDL: 从文本生成开放领域的规划表示

    使用文本环境进行规划仍然是人工智能系统面临的主要挑战之一。最近的研究方法使用语言模型来预测规划领域定义（例如 PDDL），但仅在封闭领域的模拟环境中进行评估。为了解决这个问题，我们提出了 Proc2PDDL，这是第一个包含开放领域流程文本和专家注释的 PDDL 表示的数据集。利用这个数据集，我们评估了最先进的模型在定义行动的前提条件和效果方面的性能。我们展示了 Proc2PDDL 数据集的高度挑战性，GPT-3.5 的成功率接近于 0%，而 GPT-4 的成功率约为 35%。我们的分析表明存在句法和语义错误，这表明语言模型在生成领域特定程序和推理事件方面存在不足。我们希望这个分析和数据集有助于未来将语言模型和形式规划的优点融合在一起。

    Feb, 2024

  • 基于顺序的程序化文本理解的预训练策略

    我们提出了一种基于序列的预训练方法，以加强自然语言处理中的程序理解。我们的工作是首次比较了几种 “以顺序为监督” 的 Transformer 预训练方法，并显示这些方法在两个下游实体跟踪数据集（食谱领域的 NPN-Cooking 数据集和开放领域的 ProPara 数据集）上相对于基准模型和最新方法有了改进的结果。我们的方法解决了需要预测过程步骤中实体状态的非平凡的实体跟踪任务，这需要理解步骤的顺序。这些方法在 NPN-Cooking 和 ProPara 数据集上相对于最佳基准模型分别在度量指标上提高了 1.6％和 7-9％。

    Apr, 2024