对比微调生成式脚本事件预测方法
本文提出了一种使用双向多层递归神经网络进行序列到序列学习的方法,以预测文本中前一句的事件描述。我们的方法在来自 WikiHow 和 DeScript 两个数据集中的 BLEU 得分方面显着优于先前的研究。由于 BLEU 得分不易解释为事件预测的度量标准,因此我们结合第二个评估,利用事件的黄金释义集的丰富语言注释来补充我们的研究。
Sep, 2017
本文提出了一个基于 Transformer 模型的 MCPredictor,将深度的事件级别信息和剧本级别信息整合起来,实现对剧本事件的预测,实验结果在广泛使用的《纽约时报》语料库上证明了所提出的模型的有效性和优越性。
Sep, 2021
本文研究了大型语言模型在实际事件中实现推理的能力,设计了一个建模和预测框架,其中大型语言模型执行推断,以协助事件序列模型提高预测准确性,并通过在 Amazon Review 和 GDELT 两个具有挑战性的实际数据集上进行的广泛实验,展示了我们的框架的性能优势。
May, 2023
本文探讨了预先训练的语言模型在脚本知识分析方面的能力,从三个方面进行了探测任务:包括子事件选择、开始子事件选择和时间排序,并通过对 BERT 模型在脚本识别和各项探测任务表现的分析,结论是 BERT 模型可以很好地捕捉子事件之间的时序知识,但无法很好地编码包含或开始子事件知识。
Apr, 2022
通过将公共预训练语言模型作为知识库,并通过提示学习自动挖掘与脚本相关的知识,本文提出了一种考虑到了不确定性的新型提示学习方法,用于脚本事件预测,并在标准基准和大规模数据集上进行了验证,结果表明该方法优于传统基线模型分别 1.46% 和 1.05%。
Aug, 2023
本文利用新闻语料库中的叙事事件链构建出叙事事件进化图去更好地利用事件网络信息进行剧本事件预测,并采用规模缩小的图神经网络进行事件交互建模和更好的事件表示学习,实验结果表明我们的模型在标准的多项选择故事勾画评估中显著优于现有的基准方法。
May, 2018
使用大规模预训练语言模型自动产生基于事件级别的时间图的第一项研究,通过使用现有的信息提取 / 自然语言处理工具自动生成大量文档 - 图对,并将上下文化图的产生问题作为序列到序列映射任务提出创新方案,我们的实验表明,我们的方法在生成结构和语义有效的图方面非常有效。
Oct, 2020
本论文通过使用神经语言模型,演示了一种新的方法来生成高质量的标准脚本,同时定义了两个互补的任务,即边缘预测和脚本生成,这一方法可以克服以前脚本收集困难的问题。
Apr, 2021