本文提出了一种数据驱动的方法,学习句子的逐对排序,以改进自然语言生成应用程序中句子排序的性能。该方法在大规模学术文本语料库上进行验证通过,并公开源代码和数据集。
Jul, 2016
本文提出了一种基于图神经网络的句子排序模型,通过共享实体来建立更具表达力、噪音更小的图表示,可以更准确地学习语义表示,实验结果表明,我们提出的模型准确性高于现有的最先进系统,并对实体如何帮助性能进行了深入分析。
Dec, 2019
本文提出了一种新的神经语言模型,它具备两个神经鉴别器,可以在句子层面(内聚性)和段落层面(连贯性)提供反馈信号,并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明,相对于基线(基于双向 MLE 训练的复发关注神经语言模型),我们的方法有效改善了模型表现。
Nov, 2018
本研究提出一种层次神经网络模型,通过多任务学习,同时预测文档层次的信息连贯得分和词级别的语法角色,利用两个任务之间的归纳转移,提高模型泛化能力,并在不同任务中达到了新的最优表现。
Jul, 2019
该论文提出了一种基于预训练的长文本生成模型,通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示,从而能够生成比现有技术更加连贯的文本。
May, 2021
本文介绍了一种采用句子语法、句际连贯关系和全局连贯模式的统一一致性模型,该模型在局部和全局判别任务上表现良好,优于现有模型,并建立了新的最新技术成果。
Sep, 2019
该论文提出了一种基于图神经网络的新方法,通过构建短篇小说的句子 - 实体图并利用 BERT 模型来学习句子的语义表征,减少图中的噪声,结合多种现有方法进行聚合以提高句子排序的性能,效果显著,使完美匹配率和 Kendall's Tau 指标分别提高了 5% 和 4.3%。
Mar, 2022
本研究使用基于语篇的奖励机制结合强化学习来引导模型生成连贯的长文本,利用神经网络奖励模型来促进跨句子排序,实验结果表明,使用此奖励机制的生成模型比传统的交叉熵或使用常见奖励得分的强化学习训练的模型产生的文本更连贯,更少的重复性。
May, 2018
本文提出了一种名为 RNES 的增强型神经汇总模型,在使用无标签数据的情况下,通过机器学习的方式训练该模型以优化汇总的连贯性和信息重要性,并通过实验证明了 RNES 的性能优于现有的基准模型,达到了 CNN/Daily Mail 数据集的最新性能。
Apr, 2018
本论文提出了一个基于注意力机制的排序框架,旨在训练模型进行句子排序和辨别任务。该框架采用双向句子编码器和自注意力变换网络以获取与输入顺序无关的段落表示。同时,它能够使用各种基于排序的损失函数进行无缝训练,并在两个任务中应用。实验结果表明,该框架在多个评估指标上优于众多最先进的方法。同时,相对于点对排序损失函数,该框架在使用点对和列表排序损失函数时取得更好的结果,这表明将两个或多个句子的相对位置纳入损失函数有利于更好的学习。