Apr, 2021

ProScript：基于预训练语言模型的部分排序脚本生成

PDF
TL;DR本论文通过使用神经语言模型，演示了一种新的方法来生成高质量的标准脚本，同时定义了两个互补的任务，即边缘预测和脚本生成，这一方法可以克服以前脚本收集困难的问题。
scriptsneural language modelsproscriptedge predictionscript generation
发现论文，激发创造
  • 从预训练模型中探索脚本知识

    本文探讨了预先训练的语言模型在脚本知识分析方面的能力，从三个方面进行了探测任务：包括子事件选择、开始子事件选择和时间排序，并通过对 BERT 模型在脚本识别和各项探测任务表现的分析，结论是 BERT 模型可以很好地捕捉子事件之间的时序知识，但无法很好地编码包含或开始子事件知识。

    Apr, 2022

  • 对比微调生成式脚本事件预测方法

    本文提出了一种基于事件中心预训练的生成式方法，其使用预先训练的语言模型 Fine-Tune 并通过对序列可能性的预测进行预测，从而软建模事件之间的关联。

    Dec, 2022

  • 从大型语言模型中提取脚本知识以进行受限语言规划

    本文首次定义了有约束语言规划的任务，并提出了一种过度生成和过滤的方法，以提高大语言模型在此任务中的性能，并使用此方法提取了一个由 55,000 个脚本组成的 CoScript 数据集，并在实验结果中证明了我们的方法显着提高了大型语言模型的有约束语言规划能力，特别是在约束忠实度方面。此外，CoScript 证明对于赋予较小语言模型具有受限语言规划能力是相当有效的。

    May, 2023

  • 面向目标的脚本构建

    本文提出了一种目标导向的脚本构建任务，通过基于语言模型的生成方法和首先从候选池中检索相关步骤然后排序的检索方法，使用第一个支持 18 种语言的多语言脚本学习数据集来试验该任务，并表明该任务是实用的，可行的但挑战性很大，同时我们的方法在零 - shot 学习下能够在各种其他数据集和领域中轻松部署。

    Jul, 2021

  • 使用句子级 LSTM 语言模型进行脚本推理

    该研究比较了使用 NLP 流程产生的结构化动词和论点事件和最近的基于递归神经网络的模型，发现后者在预测文档中缺失事件方面与前者大致相当。

    Apr, 2016

  • 基于顺序的程序化文本理解的预训练策略

    我们提出了一种基于序列的预训练方法，以加强自然语言处理中的程序理解。我们的工作是首次比较了几种 “以顺序为监督” 的 Transformer 预训练方法，并显示这些方法在两个下游实体跟踪数据集（食谱领域的 NPN-Cooking 数据集和开放领域的 ProPara 数据集）上相对于基准模型和最新方法有了改进的结果。我们的方法解决了需要预测过程步骤中实体状态的非平凡的实体跟踪任务，这需要理解步骤的顺序。这些方法在 NPN-Cooking 和 ProPara 数据集上相对于最佳基准模型分别在度量指标上提高了 1.6％和 7-9％。

    Apr, 2024

  • Prompt2Gaussia: 脚本事件预测的不确定性提示学习

    通过将公共预训练语言模型作为知识库，并通过提示学习自动挖掘与脚本相关的知识，本文提出了一种考虑到了不确定性的新型提示学习方法，用于脚本事件预测，并在标准基准和大规模数据集上进行了验证，结果表明该方法优于传统基线模型分别 1.46% 和 1.05%。

    Aug, 2023

  • MULTISCRIPT: 支持开放领域日常任务的多模态脚本学习

    通过建立 MultiScript 基准测试，我们提出了两种引入任务相关知识的多模态生成框架，这些框架显著提升了脚本生成和后续步骤预测的性能。

    Oct, 2023

  • 学习脚本的隐马尔可夫模型

    该论文提出了基于隐马尔可夫模型的故事脚本形式化框架，支持强大的推理和学习算法，有效预测缺失事件，优于以往聚类模型。

    Sep, 2018

  • 通过多媒体基础实现非顺序图脚本归纳

    该论文提出了一种新的具有挑战性的任务，即非顺序图脚本推理，旨在捕捉程序规划中的可选步骤和可互换步骤，通过多模态框架将视频转换成观察到的步骤路径，以训练生成明确图脚本和预测未来步骤的模型。该模型优于纯文本 / 视觉基线，人类评估显示超过 WikiHow 线性基线，能够更好地捕捉顺序和非顺序步骤关系。

    May, 2023