本文介绍了一种使用隐藏半马尔科夫模型(HSMM)解码器学习潜在的离散模板以及生成的神经生成系统,展示了该模型学习到有用的模板,从而使生成过程更具可解释性和可控性,并且在真实数据集上的表现与编码器 - 解码器文本生成模型接近。
Aug, 2018
研究了一种新的文体控制方法,使用现有的句子作为软模板,包括一种混合注意力 - 复制机制、弱监督学习及新的内容覆盖约束,结果表明该方法在餐馆和体育领域表现更好,在内容保真度和文体控制之间取得了较好的平衡。
Jan, 2019
该研究提出了一种新的解码器,通过条件调整文本和文档的潜在主题来生成摘要,使用 LDA 等主题模型揭示了更多的全局语义信息,使解码器能够访问文本语料库级别的词共现统计信息,实验表明,与现有模型相比,该方法能显著提高 ROUGE 分数。
Aug, 2019
使用基于语义框架的示例响应指导,控制对话生成提高了生成响应的连贯性,同时保留了示例响应中存在的语义意义和对话目标。
Aug, 2020
通过文本生成技术,使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据,从而实现更快地开发新功能。该方法需要直接优化,适用于有限的数据,并明显优于以往的受控文本生成技术。此外,生成的数据用作外在意图分类任务的附加训练样本,增强了低资源情况下高达 5%绝对 f-score 性能的表现,证实了该方法的实用性。
Oct, 2019
本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子,同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性,可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。
Mar, 2017
本文提出了一种基于预训练的编码器 - 解码器框架,使用 BERT 编码输入序列来生成输出序列,采用 Transformer-based 解码器生成草稿输出序列,并将其与原始输入序列结合使用,使用 BERT 生成的草稿表示来预测遮罩位置的优化单词,进而在文本摘要任务上实现了最新的技术水平。
Feb, 2019
研究采用新颖的数据生成文本的方式,对当前的文本生成方法进行了探究,并通过提出一系列抽取性评估方法和使用当前神经生成方法得到基线结果。实验结果表明,这些模型产生流畅的文本,但未能令人信服地近似人类生成的文档,甚至模板化的基线方法在某些指标上超过了这些神经模型,尽管复制和重构扩展会导致明显的改进。
Jul, 2017
本论文提出一种结构化卷积解码器,通过内容结构引导,将多句文本生成分解为多个子任务,通过在不同领域的数据集上进行比较,证明该模型在内容覆盖方面取得了更好的表现,并通过自动和人工评估进行验证。
Jun, 2019
当前语言模型以概率分布逐词解码文本,本研究引入了自适应解码机制,使语言模型能够在生成过程中动态地确定合理的候选集。实验结果显示我们的方法在故事生成任务中实现了更高的 MAUVE 和多样性,同时保持了一定的连贯性,凸现了其优越性。
Feb, 2024