本研究提出一种层次神经网络模型,通过多任务学习,同时预测文档层次的信息连贯得分和词级别的语法角色,利用两个任务之间的归纳转移,提高模型泛化能力,并在不同任务中达到了新的最优表现。
Jul, 2019
本研究探索了一种本地判别神经模型来提高文本的一致性,这样可以实现更广泛的领域泛化,从而显著提高了文章的可读性。
May, 2019
本研究提出了一种无域限制的神经模型,可用于度量多个方面的连贯性,并能在生成新语句时保持连贯性,该模型包括区分性模型和生成性模型,以及一种新的基于神经潜变量马尔科夫生成模型,可捕获文本中句子之间的隐含连贯性依赖关系,并在多个连贯性评估方面取得了最先进的表现,为处理语篇上下文生成连贯性文本迈出了一步。
Jun, 2016
本研究提出一种使用话语上下文和奖励机制来从话语角度提高翻译质量的模型,能够有效提高翻译质量和话语连贯性。
Nov, 2018
通过端到端的无监督深度学习方法,可以有效地建立并评估理解连贯文本结构的模型,从而实现有用的文本表示方法,有利于句子语义相似性和重复检测等 NLP 任务的完成。
Nov, 2016
本文通过设计一系列测试集来评估神经语言模型是否编码了逻辑关系、内在一致性和世界知识这些与上下文有关的复杂语言结构,研究发现通过这样的测试集,可以更好的评估语言模型的质量。
May, 2021
本文提出了一种新的神经语言模型,它具备两个神经鉴别器,可以在句子层面(内聚性)和段落层面(连贯性)提供反馈信号,并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明,相对于基线(基于双向 MLE 训练的复发关注神经语言模型),我们的方法有效改善了模型表现。
我们提出了一种新颖的相关性模型来应用于书面异步对话(例如论坛,电子邮件)的相关性评估和线程重建,该模型通过在实体转换中引入词汇化实现性能的改进,并将其扩展成为包括底层对话结构的实体网格表示和特征计算的方法,成为目前单 olog 和对话中标准相关性评估任务中的最佳模型,也展示了其在重建线程结构方面的有效性。
May, 2018
本文提出了一种名为 RNES 的增强型神经汇总模型,在使用无标签数据的情况下,通过机器学习的方式训练该模型以优化汇总的连贯性和信息重要性,并通过实验证明了 RNES 的性能优于现有的基准模型,达到了 CNN/Daily Mail 数据集的最新性能。
Apr, 2018
针对连贯性模型在开发新模型上的进展,我们发现它们在开发所面向的下游应用程序的评估方面往往被忽视。通过对多种传统和神经连贯性模型在合成句子排序任务的表现和下游应用中连贯性评估、机器翻译和摘要以及检索型对话系统的下一句话预测的性能进行实验,我们发现这些合成任务往往不能代表下游应用程序的性能,这说明需要探索备选的训练和评估方法。
Apr, 2020