ACLMay, 2018

基于语篇感知的神经奖励来实现连贯文本生成

PDF
TL;DR本研究使用基于语篇的奖励机制结合强化学习来引导模型生成连贯的长文本，利用神经网络奖励模型来促进跨句子排序，实验结果表明，使用此奖励机制的生成模型比传统的交叉熵或使用常见奖励得分的强化学习训练的模型产生的文本更连贯，更少的重复性。
发现论文，激发创造
  • 朝向连贯且凝聚的长文本生成

    本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

    Nov, 2018

  • 论述性神经机器翻译的连贯性建模

    本研究提出一种使用话语上下文和奖励机制来从话语角度提高翻译质量的模型，能够有效提高翻译质量和话语连贯性。

    Nov, 2018

  • 开放领域话语连贯性的神经网络模型

    本研究提出了一种无域限制的神经模型，可用于度量多个方面的连贯性，并能在生成新语句时保持连贯性，该模型包括区分性模型和生成性模型，以及一种新的基于神经潜变量马尔科夫生成模型，可捕获文本中句子之间的隐含连贯性依赖关系，并在多个连贯性评估方面取得了最先进的表现，为处理语篇上下文生成连贯性文本迈出了一步。

    Jun, 2016

  • 使用循环神经网络对句子顺序和连贯性建模

    通过端到端的无监督深度学习方法，可以有效地建立并评估理解连贯文本结构的模型，从而实现有用的文本表示方法，有利于句子语义相似性和重复检测等 NLP 任务的完成。

    Nov, 2016

  • 通过建模句子级和语篇级连贯性进行长文本生成

    该论文提出了一种基于预训练的长文本生成模型，通过预测句子间语义相似度和区分正常和洗牌句序的两个预训练目标来学习句子和语篇级别的表示，从而能够生成比现有技术更加连贯的文本。

    May, 2021

  • 利用话语奖励进行文档级神经机器翻译

    本文提出了一种基于强化学习目标的训练方法，明确优化词汇凝聚力和连贯性两个学术界公认的话语质量指标，实现了在不牺牲翻译忠实度的前提下，比其他竞争性方法更有效地提高了多语种、多领域文档翻译的凝聚和连贯性。在中英语言对中，词汇凝聚力和连贯性分别提高了 2.46 和 1.17 个百分点，BLEU 分数和 F_BERT 分数分别提高了 0.63 和 0.47 个百分点。

    Oct, 2020

  • 通过深度强化学习学习提取连贯摘要

    本文提出了一种名为 RNES 的增强型神经汇总模型，在使用无标签数据的情况下，通过机器学习的方式训练该模型以优化汇总的连贯性和信息重要性，并通过实验证明了 RNES 的性能优于现有的基准模型，达到了 CNN/Daily Mail 数据集的最新性能。

    Apr, 2018

  • 对话生成的深度强化学习

    本研究基于强化学习，建立一个可生成更多交互式回复、更长且不重复的对话、更容易回答问题的聊天机器人的神经对话模型。

    Jun, 2016

  • 通过文本到文本神经问题生成的机器理解

    本文提出了一种基于递归神经网络的模型，可以根据答案生成自然语言问题，并介绍了一种使用监督学习和强化学习相结合的方式对模型进行训练，然后通过策略梯度技术微调模型以最大化几个衡量问题质量的奖励，其中一个奖励是一个问题回答系统的表现，并通过最近的问答数据集 SQuAD 对模型进行了训练和评估。

    May, 2017

  • 一种用于连贯性建模的多任务学习方法

    本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

    Jul, 2019