基于前缀调整的无监督文本风格转换
本文提出了一种基于结构化细粒度监督的内容保留模型,利用语言信息并设定模型目标以达到在改变句子的风格的同时更好地保留与风格无关的内容,进行情感和政治倾向转换任务的实验表明该模型在内容保留和风格转换上表现出显著改善。
Oct, 2018
我们提出了一个用深度生成模型进行无监督文本风格转换的通用框架,该框架利用观察数据中的依赖关系学习内容和风格的潜在代码,并通过操纵这些代码来转换句子。实验结果表明,与几个强基准方法相比,我们的方法在自动评估和人工评估中取得了更好或具有竞争力的结果。
Aug, 2023
本文提出了一种基于双重强化学习框架的一步映射模型,以直接传输文本的风格,而无需分离内容和风格,通过在双重结构上设计的两种奖励来反映风格准确性和内容保留。这种方法可以在没有使用并行数据的情况下通过强化学习训练出两个一步映射模型,评估表明该模型在两个基准数据集上表现优于现有技术,特别是 BLEU 分数平均提高了 8 分以上,人类评估也验证了该模型在风格准确性、内容保留和流畅性方面的有效性。
May, 2019
本文提出一种使用无监督机器翻译方法来实现自动语言风格转换的方法,利用样式偏好信息和单词嵌入相似性来生成伪平行数据,并采用迭代回译方法来联合训练两个神经机器翻译(NMT)系统,其中引入样式分类器来控制噪声。实验表明,该方法在语言风格转换的精确度和输入输出对应质量方面优于以前的现有模型。
Aug, 2018
本文提出了一种深度生成模型,用于无监督的文本风格转换,并且统一了先前提出的非生成技术。利用概率方法将两个领域的非平行数据建模为部分观察到的平行语料库,通过假设生成每个观察序列的平行潜在序列,该模型学会了完全无监督的将序列从一个领域转换到另一个领域。
Feb, 2020
提出了一种新颖的轻量级的 GPT2 生成框架,该框架利用一组小的属性特定向量,称为前缀,来控制自然语言生成,其中前缀使用多方面控制的监督方法和无监督方法进行训练,实验结果表明,我们的方法可以引导生成达到期望的特性,同时保持高水平的语言质量。
Feb, 2022
本文提出字首调整 (prefix-tuning),来解决专用模型使用全量预训练语言模型的空间问题,自动学习小、定制化的向量。通过应用于自然语言生成和文本总结,仅使用 0.1% 的参数即能达到很好的性能。
Jan, 2021
本研究提出了一种基于检索的上下文感知风格表示的传导学习方法,使用具有检索器框架的注意力编码器 - 解码器,并涉及目标风格中前 K 个相关句子,以减轻非一致性问题。经实验证明,该方法优于几种强基线方法,并且具有广泛且有效的传导学习方法适用于无监督风格转移任务。
Sep, 2021
本文提出了基于前缀微调(prefix tuning)的方法,使用一组可训练的连续前缀提示和离散提示来辅助模型生成,显著提高了使用 GPT-2 生成的 CNN/Daily Mail 和 XSum 摘要的事实保留。此方法在知识增强的文档摘要中表现出了其有效性,并显示了在其他自然语言处理任务中的巨大潜力。
Jan, 2023
本文提出了一种基于对比学习范式的新型文本风格转换模型,通过明确收集相似语义句子和设计基于孪生模型的风格分类器,以解决文本样式转换中的内容迁移和样式歧义等问题。针对这些问题,实验结果表明,该模型比现有技术更加有效。
Jan, 2022