使用句子级 LSTM 语言模型进行脚本推理

ACLApr, 2016

使用句子级 LSTM 语言模型进行脚本推理

Using Sentence-Level LSTM Language Models for Script Inference

Karl Pichotta, Raymond J. Mooney

TL;DR该研究比较了使用 NLP 流程产生的结构化动词和论点事件和最近的基于递归神经网络的模型，发现后者在预测文档中缺失事件方面与前者大致相当。

Abstract

There is a small but growing body of research on statistical scripts, models of event sequences that allow probabilistic inference of implicit events from documents. These systems operate on structured verb-argum

statistical scripts event sequences recurrent neural net models nlp pipeline predicting missing events

发现论文，激发创造

通过句子级语言模型实现更好的故事情节

本文提出了一种基于句子水平的语言模型，该模型从一组流畅的句子备选项中选择故事中的下一句。通过将上下文编码为句子嵌入，比传统基于单词的方法更高效，并取得了在无监督下的 Story Cloze 任务和大规模下一句预测任务中的最新成果。

May, 2020

增强型 LSTM 用于自然语言推断

本研究设计了基于 LSTM 的连锁推理模型，进一步考虑局部推理建模和推理组合的递归架构，包括句法分析信息在内，以实现更高准确性的神经网络推理模型。

Sep, 2016

使用 LSTM 学习自然语言推断

本文使用 LSTM 结构，将 match-LSTM 方法引入进行单词级联匹配以预测自然语言推理中的矛盾或中性关系标签，并在 Stanford 自然语言推理数据集上表现出比其他深度神经网络方法更高的 86.1% 的准确率。

Dec, 2015

故事实现：将情节事件扩展为句子

使用基于神经网络的合奏模型生成事件导向的自动故事情节，比基线方法生成的故事更连贯和可信。

Sep, 2019

依赖递归神经语言模型用于句子补全

本文研究了如何将 RNN 语言模型与句子的句法依赖相结合，以提高递归神经网络 (RNN) 语言模型的性能和准确率，并在 Microsoft Research Sentence Completion Challenge 的评估中展示了其优越性，并达到了同类最先进模型的效果。

Jul, 2015

语言模型可通过少量示例引入推理，从而提高事件预测能力

本文研究了大型语言模型在实际事件中实现推理的能力，设计了一个建模和预测框架，其中大型语言模型执行推断，以协助事件序列模型提高预测准确性，并通过在 Amazon Review 和 GDELT 两个具有挑战性的实际数据集上进行的广泛实验，展示了我们的框架的性能优势。

May, 2023

对比微调生成式脚本事件预测方法

本文提出了一种基于事件中心预训练的生成式方法，其使用预先训练的语言模型 Fine-Tune 并通过对序列可能性的预测进行预测，从而软建模事件之间的关联。

Dec, 2022

学习脚本的隐马尔可夫模型

该论文提出了基于隐马尔可夫模型的故事脚本形式化框架，支持强大的推理和学习算法，有效预测缺失事件，优于以往聚类模型。

Sep, 2018

从预训练模型中探索脚本知识

本文探讨了预先训练的语言模型在脚本知识分析方面的能力，从三个方面进行了探测任务：包括子事件选择、开始子事件选择和时间排序，并通过对 BERT 模型在脚本识别和各项探测任务表现的分析，结论是 BERT 模型可以很好地捕捉子事件之间的时序知识，但无法很好地编码包含或开始子事件知识。

Apr, 2022

将深度事件级别和脚本级别信息集成用于脚本事件预测

本文提出了一个基于 Transformer 模型的 MCPredictor，将深度的事件级别信息和剧本级别信息整合起来，实现对剧本事件的预测，实验结果在广泛使用的《纽约时报》语料库上证明了所提出的模型的有效性和优越性。

Sep, 2021