跟踪离散和连续实体状态以了解过程

Apr, 2019

跟踪离散和连续实体状态以了解过程

Tracking Discrete and Continuous Entity State for Process Understanding

Aditya Gupta, Greg Durrett

TL;DR本文提出了一种结构化的神经架构来跟踪实体的发展，包括每个实体的隐藏连续表达和全局离散状态结构，使用神经 CRF 来约束实体状态随时间的演变。我们在 ProPara 数据集上对该模型进行了评估，在 QA 任务中取得了最先进的结果。

Abstract

procedural text, which describes entities and their interactions as they undergo some process, depicts entities in a uniquely nuanced way. First, each entity may have some observable discrete attributes, such as its state or location; modeling these involves imposing global structure a

procedural text neural network entity evolution structured neural architecture qa tasks

发现论文，激发创造

过程文本状态变化跟踪：挑战数据集与模型

该研究提出了一个针对描述动态世界的文本流程（例如光合作用）的新数据集和模型，并引入了两种利用 LSTM 输入编码和跨度预测进行状态预测的新型神经模型，从而实现对实体状态（位置和存在）进行全注释，并显著提高了准确率（高达 19%）。

May, 2018

利用对比框架学习动态离散实体状态生成连贯的叙述

本文提出一种基于 Transformer 模型的对话生成算法，在动态更新实体状态以及句子实现方面做了扩展，并引入了对比学习框架来学习状态表示，实验表明其比现有基线算法在生成连贯且多样化的文本方面具有更好的表现。

Aug, 2022

开放领域流程文本实体跟踪数据集

本篇论文利用开放词汇表，提出一种新的任务形式，通过给定程序文本来生成每个步骤的状态更改元组，并使用众包创建数据集 OPENPI1，其中包含来自 WikiHow.com 中 810 个实际段落、4,050 个句子的 29,928 个状态更改，该任务的最新生成模型在此数据集上实现了 16.1％的 F1，留有足够的空间提出新的模型结构。

Oct, 2020

语言模型中的实体跟踪

本文探讨了大语言模型在跟踪实体状态和关系变化方面的能力，发现只有预训练于大量代码的 GPT-3.5 模型具有此能力，而使用预训练于文本的较小模型进行微调后也可以完成一定程度的实体追踪。但这种能力不仅取决于模型的大小，大文本库的预训练也不是必要条件。

May, 2023

使用循环实体网络跟踪世界状态

该研究介绍了一种新模型，经过研究表明这种模型可以解决语言理解任务和推理任务，能够保持和更新世界状态的表示，并且具备类似于神经图灵机或可微分神经计算机的能力，该模型称为 Recurrent Entity Network。

Dec, 2016

具有属性感知上下文流的程序性阅读理解

该研究介绍了一种用于程序化阅读理解的算法，将文本转换成一般的形式，将过程表示为实体属性的转换序列，利用预训练的语言模型，同时预测实体属性和它们的转换，实现了对 ProPara 和 npn-cooking 两个数据集的最新成果。

Mar, 2020

高效易解释的实体追踪神经模型

本文提出了一种能够以高效的方式对实体进行追踪的模型，它使用预训练的语言模型来表示实体，并将实体追踪集成到语言模型中，为自然语言理解和 NLP 应用带来了很大的便利。

Aug, 2022

神经过程网络模拟行为动态

本文提出了神经过程网络作为理解过程文本的一种新方法，通过动态实体跟踪和显式地建模动作作为状态转换器，实现对于行为的动态建模来理解和生成程序文本，并且从中提供更准确的背景信息和可解释的内部表示。

Nov, 2017

计算上高效的命名实体识别标注器的受限解码

通过对输出进行限制，可以训练出一个标注器，其与 CRF 相比可以实现两倍的交叉熵损失速度，差异在 F1 方面不具有统计学意义，从而有效消除了对 CRF 的需要。

Oct, 2020

基于场景进化的程序文本理解

本文提出了一种新的基于场景的范式，称为 Scene Graph Reasoner (SGR)，用于以场景的方式联合跟踪所有实体的状态，并引入了一系列动态演化的场景图来共同制定实体、状态及其关联的演化，从而可以联合捕获所有实体和状态之间的深度交互，并同时推导出场景图。实验证明，SGR 不仅实现了新的最先进性能，而且显着加速了推理速度。

Mar, 2022