Jun, 2016

开放领域话语连贯性的神经网络模型

PDF
TL;DR本研究提出了一种无域限制的神经模型，可用于度量多个方面的连贯性，并能在生成新语句时保持连贯性，该模型包括区分性模型和生成性模型，以及一种新的基于神经潜变量马尔科夫生成模型，可捕获文本中句子之间的隐含连贯性依赖关系，并在多个连贯性评估方面取得了最先进的表现，为处理语篇上下文生成连贯性文本迈出了一步。
discourse coherencenatural language generationneural modelsgenerative modelslatent-variable markovian generative model
发现论文，激发创造
  • 跨领域可传递的神经连贯性模型

    本研究探索了一种本地判别神经模型来提高文本的一致性，这样可以实现更广泛的领域泛化，从而显著提高了文章的可读性。

    May, 2019

  • 一种用于连贯性建模的多任务学习方法

    本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

    Jul, 2019

  • 论述性神经机器翻译的连贯性建模

    本研究提出一种使用话语上下文和奖励机制来从话语角度提高翻译质量的模型，能够有效提高翻译质量和话语连贯性。

    Nov, 2018

  • 统一的神经连贯模型

    本文介绍了一种采用句子语法、句际连贯关系和全局连贯模式的统一一致性模型，该模型在局部和全局判别任务上表现良好，优于现有模型，并建立了新的最新技术成果。

    Sep, 2019

  • 语言模型中的连贯性是否令人惊讶？有针对性地评估连贯性预测

    本文通过设计一系列测试集来评估神经语言模型是否编码了逻辑关系、内在一致性和世界知识这些与上下文有关的复杂语言结构，研究发现通过这样的测试集，可以更好的评估语言模型的质量。

    May, 2021

  • 朝向连贯且凝聚的长文本生成

    本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

    Nov, 2018

  • 基于语篇感知的神经奖励来实现连贯文本生成

    本研究使用基于语篇的奖励机制结合强化学习来引导模型生成连贯的长文本，利用神经网络奖励模型来促进跨句子排序，实验结果表明，使用此奖励机制的生成模型比传统的交叉熵或使用常见奖励得分的强化学习训练的模型产生的文本更连贯，更少的重复性。

    May, 2018

  • 野外话语一致性：数据集、评估和方法

    本文针对真实世界数据中的语篇连贯性方法进行了评估，并引入了新的数据集和神经模型进行性能比较和分析，结果表明神经模型表现最佳，在四个领域的低连贯性文本中发现了一些规律。

    May, 2018

  • 两个基于语篇的语言模型用于语义

    本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

    Jun, 2016

  • 通过建模、过滤和优化来提高对话的连贯性和多样性

    本文介绍了三种增强现有编码器 - 解码器模型的方法，以有效地模拟连贯性并促进输出多样性，它们在 OpenSubtitles 语料库上的实验表明，与竞争神经模型相比，在 BLEU 分数以及连贯性和多样性度量方面均有极大改善。

    Sep, 2018