ACLNov, 2018

朝向连贯且凝聚的长文本生成

PDF
TL;DR本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。
发现论文，激发创造
  • 通过建模句子级和语篇级连贯性进行长文本生成

    该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

    May, 2021

  • 基于语篇感知的神经奖励来实现连贯文本生成

    本研究使用基于语篇的奖励机制结合强化学习来引导模型生成连贯的长文本，利用神经网络奖励模型来促进跨句子排序，实验结果表明，使用此奖励机制的生成模型比传统的交叉熵或使用常见奖励得分的强化学习训练的模型产生的文本更连贯，更少的重复性。

    May, 2018

  • MOCHA：基于认知角度的一种多任务训练方法，用于一致文本生成

    本研究提出一种基于认知写作理论的新型多任务训练策略，为神经模型生成连贯文本提供辅助技能。在三个开放式生成任务中进行了广泛的评估，实验表明我们的模型在有限标注数据和全监督设置下都优于强基线模型，并且经过人工评价，显示我们的模型能够生成更加连贯的文本。

    Oct, 2022

  • 一种用于连贯性建模的多任务学习方法

    本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

    Jul, 2019

  • 使用循环神经网络对句子顺序和连贯性建模

    通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

    Nov, 2016

  • 开放领域话语连贯性的神经网络模型

    本研究提出了一种无域限制的神经模型，可用于度量多个方面的连贯性，并能在生成新语句时保持连贯性，该模型包括区分性模型和生成性模型，以及一种新的基于神经潜变量马尔科夫生成模型，可捕获文本中句子之间的隐含连贯性依赖关系，并在多个连贯性评估方面取得了最先进的表现，为处理语篇上下文生成连贯性文本迈出了一步。

    Jun, 2016

  • 长文本生成的模型评估

    使用潜在空间中的统计工具，比较语言模型生成的文本与真实数据的分布，评估生成文本的高级结构，发现基于 Transformer 的语言模型能够捕捉主题结构，但在维持结构连贯性和建模指代关系方面存在困难。

    Oct, 2022

  • 论述性神经机器翻译的连贯性建模

    本研究提出一种使用话语上下文和奖励机制来从话语角度提高翻译质量的模型，能够有效提高翻译质量和话语连贯性。

    Nov, 2018

  • 提升一致性：当你的预训练语言模型未能足够关注时

    本文研究了大语言模型在长范围语义连贯性方面的问题，提出一种名为 “连贯提升” 的推理方法，能够提高语言模型对长内容的关注，通过分布分析证明了连贯提升的优点，并发现其在零样本自然语言处理任务中也能产生性能提升，而无需额外的训练。

    Oct, 2021

  • 跨领域可传递的神经连贯性模型

    本研究探索了一种本地判别神经模型来提高文本的一致性，这样可以实现更广泛的领域泛化，从而显著提高了文章的可读性。

    May, 2019