本研究利用预训练的 seq2seq 模型 mBART 进行多语种文本风格转换，使用机器翻译数据和英文句子得到了三种目标语言的最新成果。此外，考虑到平行数据的普遍稀缺性，我们提出了一个模块化方法，包括两种针对语言和任务适应的训练策略，实现竞争性性能，适用于其他风格转换任务以及其他语言。

Mar, 2022

本研究探讨了一种基于奖励机制的训练算法以进行文本风格转换任务，结合神经机器翻译模型的语义相似度度量来显式评估系统输出与输入文本之间内容的保留，实验结果显示该模型相对于强基准系统在自动和人类评估上具有显著的优势。

Oct, 2020

本论文研究如何增广平行数据，提出了新颖且简单的数据增广方法来获得有用的句子对，并表明采用增广平行数据进行预训练可以帮助改善正式语体转换，并在 GYAFC 基准数据集中取得了最先进的结果。

May, 2020

通过在 10 种语言上进行完备实验，考虑了五个因素：（1）微调数据量，（2）微调数据中的噪声，（3）模型预训练数据量，（4）领域不匹配的影响以及（5）语言类型学，我们试图确定预训练多语言序列到序列模型（如 mBART）对翻译低资源语言有何贡献，并提出了许多启发式方法。实验结果显示，mBART 对领域差异具有鲁棒性，但对未知和语言类型学差异较大的语言的翻译仍低于 3.0 BLEU。因此，我们鼓励将重点从新模型转向新数据。

Mar, 2022

本文探讨了一种新的持续性的预训练策略，通过把 BART 模型继续预训练来生成简单的文本，从而提高简化任务的表现，同时与其他大型语言模型进行了比较。

May, 2023

提出了一种基于 BART 预训练模型和泛化资源的无监督学习方法，将其用于风格迁移任务中，在不使用任何特定领域的平行数据的情况下，超越了现有的无监督方法。

Sep, 2021

文本风格转换方法在自然语言处理中越来越受欢迎，允许将文本从有毒到神经、从正式到非正式、从古老到现代英语等形式进行改写。在一些应用中，解决这一任务不仅仅是生成一些神经 / 非正式 / 现代化的文本，更重要的是保持原始内容不变。通过比较各种风格转换模型在正式转换领域的实例，我们对各种风格转换方法的内容保留能力进行了研究。我们创建了一个形式与非正式任务导向的对话的平行数据集，与 GYAFC 等现有数据集的关键区别是包含了必须在改写过程中保留的预定义语义槽，例如命名实体。这个额外的注释允许我们对几种最先进的风格转换技术进行精确的对比研究。我们研究的另一个结果是对无监督方法 LEWIS 进行改进，在所提出的任务中取得了明显的改进，优于原始方法和所有评估的基准方法。

Aug, 2023

本研究介绍了复杂文本风格转换任务的概念，并基于两个广泛适用的场景构建了复杂文本数据集。我们的数据集是这一类别的首个大规模数据集，包含 700 条改写句子和 1000 条《原神》游戏中的句子。虽然大型语言模型（LLM）在复杂文本风格转换中显示出了潜力，但存在数据隐私问题、网络不稳定性和高部署成本等缺点。为了解决这些问题，我们通过对比学习探索了小型模型（小于 T5-3B）通过隐式风格预训练的有效性。我们还提出了一种基于与人类评估对齐的文本生成质量自动评估方法，使用 ChatGPT。最后，我们将我们的方法与现有方法进行了比较，并展示了我们的模型在少样本文本风格转换模型方面达到了 state-of-art 的性能。

Sep, 2023

本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

May, 2019

本研究利用强化学习生成评估器结构，使用基于注意力的编码 - 解码器转换源风格的句子至目标风格，并进行了语义和句法限制的对抗训练风格鉴别器，成功实现了无平行训练语料库的文本风格转移，并在两种不同的风格转移任务（情感转移和形式转移）中取得了优于现有方法的结果，并进一步进行了手动评估，证明了所提出方法在生成文本质量方面的有效性。

Mar, 2019