ACLJun, 2019

保持一致！使用标签一致性提高程序文本理解能力

PDF
TL;DR本文介绍了一种针对过程性文本理解的新型学习框架，通过利用独立描述的标签一致性，在训练时构建一致性偏差来提高性能。在 ProPara 数据集上的评估表明，该方法显著提高了先前最先进系统的预测性能（F1）。
procedural text comprehensionentity properties trackinglabel consistencylearning frameworkperformance improvement
发现论文，激发创造
  • 过程文本状态变化跟踪：挑战数据集与模型

    该研究提出了一个针对描述动态世界的文本流程（例如光合作用）的新数据集和模型，并引入了两种利用 LSTM 输入编码和跨度预测进行状态预测的新型神经模型，从而实现对实体状态（位置和存在）进行全注释，并显著提高了准确率（高达 19%）。

    May, 2018

  • 多阶段训练的知识感知程序文本理解

    研究了手续性文本理解的挑战，发现外部知识注入和数据不足的问题，提出了一个多阶段训练的知识感知 KOALA 模型，最终在 ProPara 和 Recipes 数据集上达到了最先进的性能表现。

    Sep, 2020

  • 开放领域流程文本实体跟踪数据集

    本篇论文利用开放词汇表，提出一种新的任务形式，通过给定程序文本来生成每个步骤的状态更改元组，并使用众包创建数据集 OPENPI1，其中包含来自 WikiHow.com 中 810 个实际段落、4,050 个句子的 29,928 个状态更改，该任务的最新生成模型在此数据集上实现了 16.1％ 的 F1，留有足够的空间提出新的模型结构。

    Oct, 2020

  • 预训练语言模型的一致性测量和提升

    研究了预训练语言模型的一致性，发现它们在事实知识方面缺乏一致性，且表现良莠不齐；提出了一种改善模型一致性的方法，并在实验中证明其有效性。

    Feb, 2021

  • 具有属性感知上下文流的程序性阅读理解

    该研究介绍了一种用于程序化阅读理解的算法，将文本转换成一般的形式，将过程表示为实体属性的转换序列，利用预训练的语言模型，同时预测实体属性和它们的转换，实现了对 ProPara 和 npn-cooking 两个数据集的最新成果。

    Mar, 2020

  • 集合全局和局部信息以进行过程文本理解

    本文提出了一种新的模型 CGLI，该模型结合了本地和全局视图的输入以及全局输出，旨在实现精度和召回率同时优化，同时在故事推理框架中进行了扩展，实验结果表明这种方法在流程文本理解和故事推理方面均取得了最先进的结果。

    Aug, 2022

  • 注入常识知识对动作和状态变化的推理

    本文探讨了通过引入全局常识约束和利用大规模语料库的先验知识，将预测性文本描述中的操作和状态更改建模，从而提高神经结构预测模型的准确性和可靠性，并在基准数据集上展示了相对增益为 8％的结果。

    Aug, 2018

  • 基于文本的金融预测模型一致性测量

    该研究旨在利用自然语言处理技术，设计并提供一种基于逻辑一致性的财务文本评估工具 ——FinTrust，分析现有的 NLP 模型对于历史市场信息的预测一致性较差，表明目前的基于文本的方式无法可靠地进行金融预测。

    May, 2023

  • 基于顺序的程序化文本理解的预训练策略

    我们提出了一种基于序列的预训练方法，以加强自然语言处理中的程序理解。我们的工作是首次比较了几种 “以顺序为监督” 的 Transformer 预训练方法，并显示这些方法在两个下游实体跟踪数据集（食谱领域的 NPN-Cooking 数据集和开放领域的 ProPara 数据集）上相对于基准模型和最新方法有了改进的结果。我们的方法解决了需要预测过程步骤中实体状态的非平凡的实体跟踪任务，这需要理解步骤的顺序。这些方法在 NPN-Cooking 和 ProPara 数据集上相对于最佳基准模型分别在度量指标上提高了 1.6％和 7-9％。

    Apr, 2024

  • 跟踪离散和连续实体状态以了解过程

    本文提出了一种结构化的神经架构来跟踪实体的发展，包括每个实体的隐藏连续表达和全局离散状态结构，使用神经 CRF 来约束实体状态随时间的演变。我们在 ProPara 数据集上对该模型进行了评估，在 QA 任务中取得了最先进的结果。

    Apr, 2019