Dec, 2023

学习在任意书写风格中生成文本

PDF
TL;DR通过对比训练的表示捕捉风格特征，从而引导语言模型以目标风格生成文本，实现满足作者特定风格的生成，而不需要微调底层语言模型。
style-controlled text generationauthor-specific stylelanguage modelsgenerative re-scoringcontrastively-trained representations
发现论文，激发创造
  • 数据到文本的生成与风格模仿

    研究了一种新的文体控制方法，使用现有的句子作为软模板，包括一种混合注意力 - 复制机制、弱监督学习及新的内容覆盖约束，结果表明该方法在餐馆和体育领域表现更好，在内容保真度和文体控制之间取得了较好的平衡。

    Jan, 2019

  • 将风格化的词汇偏好纳入生成式语言模型中

    本研究采用强化学习框架，结合基于 transformer 的语言模型的生成能力，通过引入作者的多维词汇偏好，成功地实现一定目标作者属性的诱导，并展示了该方法的优越性。

    Oct, 2020

  • 基于风格表示的机器生成文本的少样本检测

    利用人类文本估计的写作风格来区分人类作者和机器作者，以及预测给定文档由哪个语言模型生成。

    Jan, 2024

  • 针对非平行作者风格改写的语言模型适应性

    该研究提出了一种利用 Transformer 神经模型生成特定作者风格文章的方法，并采用去噪自编码器 (DAE) 损失，通过微调预训练语言模型来提高作者风格的产生，同时通过定量和定性方法证明该方法比现有技术更加有效。

    Sep, 2019

  • 控制生成文本的发展

    本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

    Mar, 2017

  • 风格转移和内容保留的低层语言控制

    利用低层级的语言控制来生成具备样式特点的文本，有效性较高，进一步为神经文本生成系统添加语言控制。

    Nov, 2019

  • 指令调优时代的可控文本生成

    基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

    May, 2024

  • 用神经自然语言生成器控制基于个性的风格变化

    本文探讨了自然语言生成在任务导向对话中的应用，提出了三种序列到序列模型，并考虑如何实现内容和风格的分离，通过控制 36 个风格参数，实现对语义和风格的高度还原。

    May, 2018

  • 基于风格融合的面向受众的自然语言生成

    本文提出了风格注入的新任务，旨在将样本的风格偏好融入到预训练语言生成模型中，以生成具备风格的文本。通过有限的人工判断，我们的方法可以为风格分析模型提供数据并增强其样本集，同时平衡流畅性和风格采用。实验结果表明，我们的注入方法可以生成具有吸引力的风格化样例。

    Jan, 2023

  • 受控文本生成的不变特征学习表征

    本文探讨了在生成文本中使用分类器控制文本的生成过程中，生成的文本分布与分类器训练集不一致所导致的问题，并提出了一种基于不变性学习的解决方案和选择自然环境的启发式策略。通过实验，本文证明了分布转换对于生成文本的困难性以及不变性方法在解决这个问题上的潜力。

    May, 2023