利用大型语言模型进行文本风格转换评估
我们分析了大型语言模型(LLMs)在文本样式转换(TST)上的性能,特别关注情感转移和文本解毒,在英语、印地语和孟加拉语三种语言中进行。我们使用零样本和少样本提示以及参数高效微调,评估了预训练 LLMs 的能力,使用自动度量、GPT-4 和人工评估。我们的评估结果显示,虽然一些受提醒的 LLMs 在英语上表现良好,但它们在其他语言(印地语、孟加拉语)上的表现平均。然而,微调与零样本和少样本提示相比显著改善了结果,使它们与之前的最先进水平相媲美。这突显出有效的 TST 需要专门的数据集和专用模型的必要性。
Jun, 2024
本文综合评述了最近文本风格迁移的研究进展,提出了一种按类别组织 TST 模型的分类法,并提供了一份最新技术的综合摘要。我们还检验了 19 种最先进的 TST 算法并提供当前趋势的新视角。
Oct, 2020
本研究提出了 LMStyle Benchmark,这是一个适用于聊天风格文本风格转换的评估框架,可以自动化和可扩展地评估大型语言模型的风格转换质量,并引入了适应度等新颖的度量方法,从而更好地反映人类判断。
Mar, 2024
论文提出了 Prompt-and-Rerank 方法,利用预训练语言模型实现任意文本风格转换,并在七个不同的数据集上进行了实证研究,探究模型大小和提示设计对风格转移质量的影响。
May, 2022
本文提出了一种新的文本样式转换模型,名为 Style MLM,它使用原型编辑方法来构建一种样式屏蔽语言模型任务,通过使用 “可解释的注意力” 来解决样式屏蔽步骤中的位置问题。我们的模型通过与强大的 TST 基线和先进的 TST 模型竞争,展示了其在内容保留环节效果的卓越性。
Oct, 2022
本文旨在通过保留核心内容的同时改变文本的语言风格,重点研究了情感转换这一重要的文本风格转换子任务,涵盖印度语言的广泛范围,包括印地语、马加伊语、马拉雅拉姆语、马拉地语、旁遮普语、奥迪亚语、泰卢固语和乌尔都语;本文介绍了每种语言的正负样式平行句的专门数据集,评估并比较了各种基准模型在平行数据、非平行数据、跨语言学习和共享学习方法中的性能,其中包括 Llama2 和 GPT-3.5 成语语言模型(LLMs);我们的实验突出了平行数据在文本风格转换中的重要性,并展示了掩码风格填充(MSF)方法在非平行技术中的有效性;此外,跨语言和联合多语种学习方法表现出了潜力,为选择适合特定语言和任务要求的最优模型提供了见解;据我们所知,这项工作是首次全面探索以情感转换为代表的文本风格转换任务涉及到多种语言的研究。
May, 2024
我们研究了结合注意力屏蔽方法和大型语言模型的无监督文本风格转换任务,提出了四种交互方式,包括调整顺序的管线框架、从语言模型到注意力屏蔽模型的知识蒸馏,以及构建并行例子的上下文学习。实验证明这些多向交互能够在风格强度、内容保留和文本流畅度等方面改善基线结果,提高超过其他系统,包括有监督文本风格转换系统的性能。在 Yelp-clean 和 Amazon-clean 数据集上,相对之前最佳度量结果,它们分别提高了 0.5 和 3.0 个绝对百分点,并获得了新的技术水平。
Feb, 2024
基于大语言模型和 CoT 提示的 CoTex 框架,在有限的平行数据集约束下,能够优于传统监督微调和知识蒸馏方法的无监督文本风格转换,特别是在资源有限的情况下,同时具有风格转换过程的透明解释。
Mar, 2024