基于可衡量文本生成的内容传递方法研究
本文提出了一种神经网络体系结构,它在不牺牲端到端训练的前提下,结合了内容选择和计划,通过将生成任务分解为两个阶段,根据数据记录生成内容计划并生成文档,在自动化和人类试验中都取得了优越表现,从而提高了最近发布的 RotoWire 数据集的最新技术。
Sep, 2018
通过端到端训练的两步生成模型,即首先由句子级内容规划器决定涵盖的关键词组和所需的语言风格,然后由表面实现解码器生成相关和连贯的文本,可以显著优于现有竞争模型,在 Reddit 的说服性论证、维基百科的正常和简单版本的段落生成以及科学文章的摘要生成等任务中得到验证。
Sep, 2019
本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性,包括层级生成和约束解码,并应用于故事、诗歌、比喻语言的创意生成,以及减少生成模型的社会偏见。
Sep, 2022
研究了一种新的文体控制方法,使用现有的句子作为软模板,包括一种混合注意力 - 复制机制、弱监督学习及新的内容覆盖约束,结果表明该方法在餐馆和体育领域表现更好,在内容保真度和文体控制之间取得了较好的平衡。
Jan, 2019
本文介绍了多种扩展序列 - 序列模型的方法,旨在解决从结构化数据中生成流畅自然语言的问题,特别关注潜在内容选择过程的变体,包括复制注意力和覆盖解码。我们提出了一种基于多样集成的训练方法,以鼓励模型在训练过程中学习不同的句子模板,并通过比较其生成的文本在五个自动度量标准和人类评估中的结果,表明这些技术可以提高生成文本的质量。
Oct, 2018
该研究提出了一个基于自然语言的控制生成任务,可将一系列事实扩展为更长的叙述,并通过引入人类评估指标和大型训练数据集的方法评估了三种方法,证明了自回归的单向语言模型如 GPT2 的生成流畅度更好,但很难遵循所请求的事实,提出了一个基于计划和填空模型的解决方案(使用精细调整的 XLNet),其生成流畅度有竞争力,同时遵循所请求的内容。
Dec, 2020
该论文系统调查了 100 多篇关于神经文本风格迁移的文章,分析了任务制定,现有数据集和子任务的方法,评估以及并行和非并行数据的方法等方面,并就未来该领域的发展进行了讨论。
Nov, 2020
本文介绍了两个文档基于生成任务:维基百科更新生成和对话响应生成。我们提出了两种新颖的大规模预训练编码器 - 解码器模型并提供了更强大的 BART 基线。我们的方法在自动化和人类评估方面均优于现有方法。
Apr, 2021
本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题,提出了一种新的控制文本生成任务 — 顺序控制文本生成,并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识,表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性,并接近于人类的写作业绩。
Jan, 2023