EMNLPJan, 2023

基于风格融合的面向受众的自然语言生成

PDF
TL;DR本文提出了风格注入的新任务，旨在将样本的风格偏好融入到预训练语言生成模型中，以生成具备风格的文本。通过有限的人工判断，我们的方法可以为风格分析模型提供数据并增强其样本集，同时平衡流畅性和风格采用。实验结果表明，我们的注入方法可以生成具有吸引力的风格化样例。
stylistic preferenceslanguage generation modelsstyle infusionpairwise human judgmentsgpt-2
发现论文，激发创造
  • 用神经自然语言生成器控制基于个性的风格变化

    本文探讨了自然语言生成在任务导向对话中的应用，提出了三种序列到序列模型，并考虑如何实现内容和风格的分离，通过控制 36 个风格参数，实现对语义和风格的高度还原。

    May, 2018

  • 学习在任意书写风格中生成文本

    通过对比训练的表示捕捉风格特征，从而引导语言模型以目标风格生成文本，实现满足作者特定风格的生成，而不需要微调底层语言模型。

    Dec, 2023

  • 数据到文本的生成与风格模仿

    研究了一种新的文体控制方法，使用现有的句子作为软模板，包括一种混合注意力 - 复制机制、弱监督学习及新的内容覆盖约束，结果表明该方法在餐馆和体育领域表现更好，在内容保真度和文体控制之间取得了较好的平衡。

    Jan, 2019

  • 最近邻语言模型用于风格可控生成

    本文构建并评估了一种基于外部记忆的语言建模方法，利用政治正确、正式性和毒性等属性进行样式控制，结果显示基于样式专用数据存储器的生成性能得到了提高，但仍需在未来的工作中探索预训练数据和特定样式的效果。

    Oct, 2022

  • 关于文体改写需要上下文模型和评估的重要性

    本文着重于文本的形式、毒性和情感转移任务，并提出了将上下文信息应用于文本改写的方法，比较了有上下文和无上下文改写的效果，并通过新型语言模型 GPT-3.5 和 GPT NeoX 进行实验比较，结果表明，上下文改写会更符合人类的阅读习惯，但并不一定反映在自动评测指标上。因此，也提出了通过融合上下文信息来优化常见的自动评测指标，以更好地反映人类偏好。总的来说，本文强调了将上下文信息应用于文本改写和评测的重要性。

    May, 2023

  • 将风格化的词汇偏好纳入生成式语言模型中

    本研究采用强化学习框架，结合基于 transformer 的语言模型的生成能力，通过引入作者的多维词汇偏好，成功地实现一定目标作者属性的诱导，并展示了该方法的优越性。

    Oct, 2020

  • Few-Shot 学习下的对话风格迁移

    本文提出了一种基于对话样式迁移的 few-shot 学习模型，采用上下文学习的方式解决了对话风格转移中传统方法受限的问题，并且在多轮对话中的人工评估中，模型的话语匹配目标风格且语义正确性和合适性方面表现更好。此外，实验还表明，该模型可用于下游任务 —— 在将训练集的风格转移到测试集的情况下，多领域目标分类任务的 F1 得分有所提高。

    Feb, 2023

  • 基于转移学习和 Adapter 的无监督神经风格文本生成

    本文提出一种迁移学习框架，通过更新模型参数的 0.3％来学习响应生成的特定风格属性，解决了在话务系统中保持一致的人物形象和风格的问题。研究表明，个性是改善会话系统参与度和用户体验的关键驱动因素。同时，本研究通过在 ROC 故事语料库中研究风格故事结尾生成问题，从 PERSONALITY-CAPTIONS 数据集中学习风格特定属性，并通过大量实验和评估表明，该新颖的训练方法可以提高风格生成的效果。

    Oct, 2022

  • 风格转换作为无监督机器翻译

    本文提出一种使用无监督机器翻译方法来实现自动语言风格转换的方法，利用样式偏好信息和单词嵌入相似性来生成伪平行数据，并采用迭代回译方法来联合训练两个神经机器翻译（NMT）系统，其中引入样式分类器来控制噪声。实验表明，该方法在语言风格转换的精确度和输入输出对应质量方面优于以前的现有模型。

    Aug, 2018

  • 上下文文本风格转换

    提出了一种基于上下文文本风格转换的新任务和模型，旨在实现高质量的自然上下文保留的风格转换，并通过引入半监督学习等机制，提出了一种用于训练稳健模型的方法，同时介绍了两个新的基准数据，实验结果表明，该模型在准确性、内容保全和上下文一致性等指标上显著优于其他方法。

    Apr, 2020