May, 2024

多语种文本风格转换：印度语言的数据集与模型

PDF
TL;DR本文旨在通过保留核心内容的同时改变文本的语言风格，重点研究了情感转换这一重要的文本风格转换子任务，涵盖印度语言的广泛范围，包括印地语、马加伊语、马拉雅拉姆语、马拉地语、旁遮普语、奥迪亚语、泰卢固语和乌尔都语；本文介绍了每种语言的正负样式平行句的专门数据集，评估并比较了各种基准模型在平行数据、非平行数据、跨语言学习和共享学习方法中的性能，其中包括 Llama2 和 GPT-3.5 成语语言模型（LLMs）；我们的实验突出了平行数据在文本风格转换中的重要性，并展示了掩码风格填充（MSF）方法在非平行技术中的有效性；此外，跨语言和联合多语种学习方法表现出了潜力，为选择适合特定语言和任务要求的最优模型提供了见解；据我们所知，这项工作是首次全面探索以情感转换为代表的文本风格转换任务涉及到多种语言的研究。
text style transfersentiment transferindian languagesparallel datamultilingual learning
发现论文，激发创造
  • 大型语言模型是否真正擅长文本风格转换？

    我们分析了大型语言模型（LLMs）在文本样式转换（TST）上的性能，特别关注情感转移和文本解毒，在英语、印地语和孟加拉语三种语言中进行。我们使用零样本和少样本提示以及参数高效微调，评估了预训练 LLMs 的能力，使用自动度量、GPT-4 和人工评估。我们的评估结果显示，虽然一些受提醒的 LLMs 在英语上表现良好，但它们在其他语言（印地语、孟加拉语）上的表现平均。然而，微调与零样本和少样本提示相比显著改善了结果，使它们与之前的最先进水平相媲美。这突显出有效的 TST 需要专门的数据集和专用模型的必要性。

    Jun, 2024

  • 基于风格掩码语言模型的文本风格转换

    本文提出了一种新的文本样式转换模型，名为 Style MLM，它使用原型编辑方法来构建一种样式屏蔽语言模型任务，通过使用 “可解释的注意力” 来解决样式屏蔽步骤中的位置问题。我们的模型通过与强大的 TST 基线和先进的 TST 模型竞争，展示了其在内容保留环节效果的卓越性。

    Oct, 2022

  • 利用大型语言模型进行文本风格转换评估

    我们评估了不同的大型语言模型在文本风格转换评估中的性能并提出了输入提示的集成来增加评估的鲁棒性。

    Aug, 2023

  • TSST：文本语音风格转换的基准和评估模型

    本文介绍了 TSST 任务，它是一个新的样式转移 benchmark，强调人类导向的评估，探索和提升当前 LLMs 的性能。

    Nov, 2023

  • 文本风格转移：评论与实验评估

    本文综合评述了最近文本风格迁移的研究进展，提出了一种按类别组织 TST 模型的分类法，并提供了一份最新技术的综合摘要。我们还检验了 19 种最先进的 TST 算法并提供当前趋势的新视角。

    Oct, 2020

  • 英语和印地语中的文本去毒化作为风格转换

    本文研究了文本排毒的任务，即将有害文本自动转化为非有害文本。通过知识迁移、多任务学习和删减重构等方法，我们有效地平衡了文本排毒，同时保留了原始内容和流畅性，并使用提供的数据集进行实验和评估。

    Feb, 2024

  • 半监督文本风格转移：潜空间交叉投影

    该研究提出一种半监督文本风格转换模型，将小规模平行数据与大规模非平行数据相结合，设计两个约束条件用于训练，引入了两种简单而有效的半监督方法，并构建并发布了一种新的风格转换数据集。

    Sep, 2019

  • 风格转换作为无监督机器翻译

    本文提出一种使用无监督机器翻译方法来实现自动语言风格转换的方法，利用样式偏好信息和单词嵌入相似性来生成伪平行数据，并采用迭代回译方法来联合训练两个神经机器翻译（NMT）系统，其中引入样式分类器来控制噪声。实验表明，该方法在语言风格转换的精确度和输入输出对应质量方面优于以前的现有模型。

    Aug, 2018

  • 基于 LLMs 和多路交互的无监督文本风格转换

    我们研究了结合注意力屏蔽方法和大型语言模型的无监督文本风格转换任务，提出了四种交互方式，包括调整顺序的管线框架、从语言模型到注意力屏蔽模型的知识蒸馏，以及构建并行例子的上下文学习。实验证明这些多向交互能够在风格强度、内容保留和文本流畅度等方面改善基线结果，提高超过其他系统，包括有监督文本风格转换系统的性能。在 Yelp-clean 和 Amazon-clean 数据集上，相对之前最佳度量结果，它们分别提高了 0.5 和 3.0 个绝对百分点，并获得了新的技术水平。

    Feb, 2024

  • 文本风格转移的深度学习综述

    该论文系统调查了 100 多篇关于神经文本风格迁移的文章，分析了任务制定，现有数据集和子任务的方法，评估以及并行和非并行数据的方法等方面，并就未来该领域的发展进行了讨论。

    Nov, 2020