ACLJun, 2021

DYPLOC: 使用混合语言模型进行动态规划内容的文本生成

PDF
TL;DR提出了 DYPLOC 框架，采用混合语言模型的新设计，动态规划内容并使用大型预训练模型来生成涵盖多样内容的观点文本。在 Reddit ChangeMyView 的论据生成和 New York Times' Opinion 部分的文章写作任务上，自动评估表明我们的模型显着优于竞争比较，并获得了人类评判者的更准确，内容更丰富的结果。
发现论文，激发创造
  • 神经文本生成的句子级内容规划和风格规范

    通过端到端训练的两步生成模型，即首先由句子级内容规划器决定涵盖的关键词组和所需的语言风格，然后由表面实现解码器生成相关和连贯的文本，可以显著优于现有竞争模型，在 Reddit 的说服性论证、维基百科的正常和简单版本的段落生成以及科学文章的摘要生成等任务中得到验证。

    Sep, 2019

  • 内容选择与规划的数据转文本生成

    本文提出了一种神经网络体系结构，它在不牺牲端到端训练的前提下，结合了内容选择和计划，通过将生成任务分解为两个阶段，根据数据记录生成内容计划并生成文档，在自动化和人类试验中都取得了优越表现，从而提高了最近发布的 RotoWire 数据集的最新技术。

    Sep, 2018

  • 基于内容计划的即插即用食谱生成

    本文提出了一种低成本但有效的框架，该框架以插拔的方式显式地对生成文本的全局内容计划建模，并证明其在食谱生成任务上实现了最新的技术性能，从而解决了当前受长期存在的多句文本生成问题。

    Dec, 2022

  • PLANET: 自回归变压器中动态内容规划用于长篇文本生成

    本文提出了 PLANET 框架，采用自回归自注意机制，结合包含词汇的句子级语义计划来动态地进行内容规划和表面实现。引入基于连贯性的对比学习目标，以进一步提高输出的连贯性。实验结果表明，我们的方法在生成较富内容的连贯文本方面优于基线方法。

    Mar, 2022

  • 利用人群调整的生成式语言模型进行舆情挖掘

    我们提出了一种从文本集合中挖掘意见的新方法，该方法是使用在不同人群收集到的数据上训练的生成式语言模型。我们描述了意见洞察挖掘的基本定义、方法论和通用算法。通过在实验中展示预先训练的生成式模型使用经过特殊设计的内容进行精调，我们展示了我们的方法的性能，其中包含不自然且完全注释的意见。我们展示了我们的方法能够学习和将意见转移到语义类别中，同时保持极性的比例。最后，我们展示了使用洞察挖掘系统来从真实文本语料库中扩大发现意见洞察的用途。

    Jul, 2023

  • 神经故事生成的内容规划与亚里士多德重评分

    通过使用具有高质量内容规划和根据亚里士多德诗学详细描述的优秀剧情编写方面的集合进行语言模型的情节生成，可以解决故事生成的问题，并发现经过良好规划的情节结构的故事比不具备内容规划或者使用不合适的规划方式的基准更加相关和高品质。

    Sep, 2020

  • 数据到文本生成的端到端内容和计划选择

    本文介绍了多种扩展序列 - 序列模型的方法，旨在解决从结构化数据中生成流畅自然语言的问题，特别关注潜在内容选择过程的变体，包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法，以鼓励模型在训练过程中学习不同的句子模板，并通过比较其生成的文本在五个自动度量标准和人类评估中的结果，表明这些技术可以提高生成文本的质量。

    Oct, 2018

  • 朝向连贯且凝聚的长文本生成

    本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

    Nov, 2018

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020

  • 基于规划的分层变分模型进行长篇多样化文本生成

    本文提出了一种基于规划的分层变分模型，通过规划出一系列任务子集来分割长文本生成任务，实现了生成多样化表达的效果，相较于现有神经方法更为出色。

    Aug, 2019