基于辨别式句子建模的故事结尾预测
本文研究了两种监督基线系统,用于 Story Cloze 测试,一种基于词嵌入和语义相似度计算的分类器,另一种是基于不同编码策略的神经 LSTM 系统,实验结果表明,使用特征表示基于给定故事单词和候选结尾句子单词的平均词嵌入向量,以及故事和候选结尾之间的相似性特征的模型表现更好,最佳模型在官方评估中取得了 72.42 的准确度,排名第三。
Mar, 2017
本文通过采用基于 skip-thought 嵌入的全用户反馈前馈网络,对 Story Cloze Test 进行研究,发现忽略训练集,只对验证集进行训练可以获得更高的准确度,而仅考虑提示的最后一句话而非整个提示,利用我们的方法能够获得更高的准确度,从而达到近乎最优的性能。
Mar, 2018
该论文提出了一种基于对比学习的故事结尾生成框架 CLSEG,其采用多方面采样机制和特定于故事的对比训练策略来解决故事结尾与故事情节之间的一致性问题。实验证明,CLSEG 相对于基线方法表现更好,能够产生更具一致性和合理性的故事结尾。
Feb, 2022
本文提出了一种新型的故事结尾生成模型,该模型采用增量编码方案来表示故事情境中的上下文线索,并通过多源注意力引入常识知识以促进故事理解和生成连贯、合理的结尾。模型能够通过构建上下文线索与使用隐含知识生成更合理的故事结尾。
Aug, 2018
提出了一种新颖的方法,使用外部神经记忆链跟踪不同的语义方面,每个链条专注于特定的语义方面,以实现对叙述的深层语义理解,该方法在故事结尾预测任务上表现优异,超过了一系列竞争基线,并创造了新的最先进成果。
May, 2018
本研究旨在研究一种可转移的 BERT 训练框架,该框架不仅可以从大规模未标记数据中转移一般语言知识,还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中,提出了利用三种转移任务,包括自然语言推理、情感分类和下一动作预测,以进一步训练预训练模型的思想,并将故事结尾预测作为目标任务进行实验。最终结果,准确率达到了 91.8%,明显优于先前最先进的基线方法。同时,进行了一些比较实验,给出了一些关于如何选择转移任务的有益建议。通过误差分析,还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。
May, 2019
本文提出了一种基于句子水平的语言模型,该模型从一组流畅的句子备选项中选择故事中的下一句。通过将上下文编码为句子嵌入,比传统基于单词的方法更高效,并取得了在无监督下的 Story Cloze 任务和大规模下一句预测任务中的最新成果。
May, 2020
本文提出了一种 Story Heterogeneous Graph Network(SHGN)模型,能够准确理解故事上下文信息、处理故事线索深层含义,并通过多任务学习有效生成合理的故事结局,实验证明在 ROCStories Corpus 上达到了新的最佳表现。
Jan, 2022