Sep, 2023

通过潜在属性预训练,将小型语言模型专门化为复杂风格转换

TL;DR本研究介绍了复杂文本风格转换任务的概念,并基于两个广泛适用的场景构建了复杂文本数据集。我们的数据集是这一类别的首个大规模数据集,包含 700 条改写句子和 1000 条《原神》游戏中的句子。虽然大型语言模型(LLM)在复杂文本风格转换中显示出了潜力,但存在数据隐私问题、网络不稳定性和高部署成本等缺点。为了解决这些问题,我们通过对比学习探索了小型模型(小于 T5-3B)通过隐式风格预训练的有效性。我们还提出了一种基于与人类评估对齐的文本生成质量自动评估方法,使用 ChatGPT。最后,我们将我们的方法与现有方法进行了比较,并展示了我们的模型在少样本文本风格转换模型方面达到了 state-of-art 的性能。