Jan, 2024

CAT-LLM：使用文本风格定义促使大规模语言模型进行中文文章风格转换

PDF
TL;DR提出了一个中文文章风格转换框架（CAT-LLM），利用大型语言模型（LLMs）的能力，通过自定义的文本风格定义模块（TSD）来全面分析文章特征，高效地进行中文文章风格转换。该框架在许多方面优于当前研究，能够实现准确的转换和内容保持，对各种类型的 LLMs 具有显著的适用性。
text style transferchinese article-style transfer frameworklarge language modelstext style definitionarticle-style transfer
发现论文，激发创造
  • 通过潜在属性预训练，将小型语言模型专门化为复杂风格转换

    本研究介绍了复杂文本风格转换任务的概念，并基于两个广泛适用的场景构建了复杂文本数据集。我们的数据集是这一类别的首个大规模数据集，包含 700 条改写句子和 1000 条《原神》游戏中的句子。虽然大型语言模型（LLM）在复杂文本风格转换中显示出了潜力，但存在数据隐私问题、网络不稳定性和高部署成本等缺点。为了解决这些问题，我们通过对比学习探索了小型模型（小于 T5-3B）通过隐式风格预训练的有效性。我们还提出了一种基于与人类评估对齐的文本生成质量自动评估方法，使用 ChatGPT。最后，我们将我们的方法与现有方法进行了比较，并展示了我们的模型在少样本文本风格转换模型方面达到了 state-of-art 的性能。

    Sep, 2023

  • 大型语言模型是否真正擅长文本风格转换？

    我们分析了大型语言模型（LLMs）在文本样式转换（TST）上的性能，特别关注情感转移和文本解毒，在英语、印地语和孟加拉语三种语言中进行。我们使用零样本和少样本提示以及参数高效微调，评估了预训练 LLMs 的能力，使用自动度量、GPT-4 和人工评估。我们的评估结果显示，虽然一些受提醒的 LLMs 在英语上表现良好，但它们在其他语言（印地语、孟加拉语）上的表现平均。然而，微调与零样本和少样本提示相比显著改善了结果，使它们与之前的最先进水平相媲美。这突显出有效的 TST 需要专门的数据集和专用模型的必要性。

    Jun, 2024

  • 利用大型语言模型进行文本风格转换评估

    我们评估了不同的大型语言模型在文本风格转换评估中的性能并提出了输入提示的集成来增加评估的鲁棒性。

    Aug, 2023

  • 半监督文本风格转移：潜空间交叉投影

    该研究提出一种半监督文本风格转换模型，将小规模平行数据与大规模非平行数据相结合，设计两个约束条件用于训练，引入了两种简单而有效的半监督方法，并构建并发布了一种新的风格转换数据集。

    Sep, 2019

  • 多语种文本风格转换：印度语言的数据集与模型

    本文旨在通过保留核心内容的同时改变文本的语言风格，重点研究了情感转换这一重要的文本风格转换子任务，涵盖印度语言的广泛范围，包括印地语、马加伊语、马拉雅拉姆语、马拉地语、旁遮普语、奥迪亚语、泰卢固语和乌尔都语；本文介绍了每种语言的正负样式平行句的专门数据集，评估并比较了各种基准模型在平行数据、非平行数据、跨语言学习和共享学习方法中的性能，其中包括 Llama2 和 GPT-3.5 成语语言模型（LLMs）；我们的实验突出了平行数据在文本风格转换中的重要性，并展示了掩码风格填充（MSF）方法在非平行技术中的有效性；此外，跨语言和联合多语种学习方法表现出了潜力，为选择适合特定语言和任务要求的最优模型提供了见解；据我们所知，这项工作是首次全面探索以情感转换为代表的文本风格转换任务涉及到多种语言的研究。

    May, 2024

  • 使用大型语言模型进行任意文本风格转换的方法

    本文采用大型语言模型（LM）来进行零样式转移，提出了一种提示方法，称为增强的零样式学习，将样式转移作为句子重写任务，并仅需要自然语言指令，无需目标样式的模型微调或示例。增强的零样式学习简单易用，不仅在情感等标准样式转换任务上表现出色，而且可以进行任意变换，例如 “使其多愁善感” 或 “插入一个隐喻”。

    Sep, 2021

  • 用 LLMs 进行的自述文本风格转换提炼

    基于大语言模型和 CoT 提示的 CoTex 框架，在有限的平行数据集约束下，能够优于传统监督微调和知识蒸馏方法的无监督文本风格转换，特别是在资源有限的情况下，同时具有风格转换过程的透明解释。

    Mar, 2024

  • 风格过时：关于 LLMs 和代码风格转移的不如意经历

    代码风格转换是困难的，但是我们研究发现，尽管语言模型在文本转换方面取得了成功，它们在需要代码理解的任务上表现不佳。我们提供了大规模语料库，以帮助社区构建更好的代码模型。

    Jun, 2024

  • 风格转换作为无监督机器翻译

    本文提出一种使用无监督机器翻译方法来实现自动语言风格转换的方法，利用样式偏好信息和单词嵌入相似性来生成伪平行数据，并采用迭代回译方法来联合训练两个神经机器翻译（NMT）系统，其中引入样式分类器来控制噪声。实验表明，该方法在语言风格转换的精确度和输入输出对应质量方面优于以前的现有模型。

    Aug, 2018

  • 从具有任意未知样式的句子进行语言风格转移

    该研究论文介绍了一种利用内容和风格潜在表示进行语言风格转换的方法，并证明了该模型在餐厅评论情感修改、浪漫风格对话回复和莎士比亚风格语句重写等三种任务中具有有效性。

    Aug, 2018