使用外部存储器改进的最近邻语言模型,通过检索相似的语境来辅助词语预测,添加局部级别使模型能够学习如何根据相对于源文件中当前文本的位置来加权邻居,从而进一步提高模型性能。我们提出了一种新的方法,并在礼貌、正式、支持性和毒性文本数据上进行自动和人工评估,发现我们的模型能够成功控制风格,并提供比以往更好的流利度 - 风格权衡。
Nov, 2023
本文探讨了自然语言生成在任务导向对话中的应用,提出了三种序列到序列模型,并考虑如何实现内容和风格的分离,通过控制 36 个风格参数,实现对语义和风格的高度还原。
May, 2018
该研究通过基于条件 RNN 语言模型的方法,控制生成文本的内容和文体风格,并以电影评论领域为例,成功生成了与所需语言风格和内容相一致的连贯句子。
Jul, 2017
本研究旨在探索神经生成法如何同时实现语义准确度和文体控制,在两个文体基准任务中,通过在译码器中进行文体调节,消除先前模型中使用的语义再排序器,从而实现了语义误差降至接近零,并在 Personality 中实现了超过 15 个 BLEU 分数的巨大性能提升。在控制对比中还实现了从 0.75 到 0.81 的提升以及语义误差从 16% 降至 2%。
Jul, 2019
使用文本分析方法,基于餐饮行业中的 50K 句子,对对话系统中从意义表示到生成自然对话的进行了探究,使用不同的风格分区来训练和生成自然对话,并证明了标记风格变量的方法可以调整生成对话的风格。
Sep, 2018
本研究着重于架构引导的自然语言生成中的风格控制和评估,旨在同时实现语义和风格控制,通过条件训练、引导微调和引导解码等各种控制生成方法的实验来评估其优缺点,并用广泛的自动和人工评估指标来评估,结果表明,使用判别器引导解码更适合处理风格较为语义复杂的任务,同时这种方法也更加可扩展,效果更好。
Sep, 2021
利用低层级的语言控制来生成具备样式特点的文本,有效性较高,进一步为神经文本生成系统添加语言控制。
Nov, 2019
本文提出了风格注入的新任务,旨在将样本的风格偏好融入到预训练语言生成模型中,以生成具备风格的文本。通过有限的人工判断,我们的方法可以为风格分析模型提供数据并增强其样本集,同时平衡流畅性和风格采用。实验结果表明,我们的注入方法可以生成具有吸引力的风格化样例。
Jan, 2023
通过对比训练的表示捕捉风格特征,从而引导语言模型以目标风格生成文本,实现满足作者特定风格的生成,而不需要微调底层语言模型。
Dec, 2023
通过自然描述性用户评论数据免费生成语义和样式标记富文本的可并行结构化意义表示的训练数据集,系统地探索样式标记如何实现神经模型输出的语义和样式联合控制,提出了 YelpNLG,一个跨越不同餐厅属性的高度风格多变的参考文本和富含语义的并行结构化意义表示语料库,实验结果表明该模型可以在保持语义的前提下,成功地达到多个样式目标,包括形容词的词汇选择,输出长度和情感。
Jun, 2019