Adapter-TST: 一种用于多属性文本风格转化的参数高效方法
本文为多语言语音翻译(ST)提供了适配器的完整分析,其中适配器调整在 NLP 中作为微调的高效替代品,可使 ST 针对特定语言对进行专门优化,并从自动语音识别(ASR)任务和预先训练的 mBART 模型中进行转移,同时节省大量参数,具有与完全微调相当的可比结果。
Jun, 2021
本文提出一种控制文本数据中多种因素变异的模型,用回译机制代替对解缠缠绕的限制,实现对性别、情感、产品类型等多个属性的控制,并通过在潜空间中的池化运算使内容保留和风格变化之间的权衡更加精细,进一步拓展了去耦合框架的应用范围。
Nov, 2018
本文旨在通过保留核心内容的同时改变文本的语言风格,重点研究了情感转换这一重要的文本风格转换子任务,涵盖印度语言的广泛范围,包括印地语、马加伊语、马拉雅拉姆语、马拉地语、旁遮普语、奥迪亚语、泰卢固语和乌尔都语;本文介绍了每种语言的正负样式平行句的专门数据集,评估并比较了各种基准模型在平行数据、非平行数据、跨语言学习和共享学习方法中的性能,其中包括 Llama2 和 GPT-3.5 成语语言模型(LLMs);我们的实验突出了平行数据在文本风格转换中的重要性,并展示了掩码风格填充(MSF)方法在非平行技术中的有效性;此外,跨语言和联合多语种学习方法表现出了潜力,为选择适合特定语言和任务要求的最优模型提供了见解;据我们所知,这项工作是首次全面探索以情感转换为代表的文本风格转换任务涉及到多种语言的研究。
May, 2024
在多种语言环境中,为了有效地合成语音,开发一个能够应对不同语言的语音合成模型是具有挑战性的。本文提出了一种在多语言语音合成中,将参数高效的迁移学习方法(如适配器和超网络)与 TTS 架构集成的方法,并在实验中证明这种方法在性能上能够与全面微调方法相媲美甚至更好,参数数量仅为总参数的约 2.5%。
Jun, 2024
ArtAdapter 是一种转换性的文本到图像(T2I)风格转移框架,能够超越传统的颜色、画笔和物体形状的限制,捕捉高级风格元素,如构图和独特的艺术表达。通过整合多级风格编码器与我们提出的显式适应机制,ArtAdapter 在风格转移中实现了前所未有的保真度,确保与文本描述的紧密对齐。此外,辅助内容适配器(ACA)的融入有效地将内容与风格分离,减轻了从风格参考中借用内容的问题。此外,我们的新颖快速微调方法可以进一步增强零样式表示,同时减轻过拟合的风险。全面的评估证实了 ArtAdapter 超越了当前最先进的方法。
Dec, 2023
本研究利用预训练的 seq2seq 模型 mBART 进行多语种文本风格转换,使用机器翻译数据和英文句子得到了三种目标语言的最新成果。此外,考虑到平行数据的普遍稀缺性,我们提出了一个模块化方法,包括两种针对语言和任务适应的训练策略,实现竞争性性能,适用于其他风格转换任务以及其他语言。
Mar, 2022
通过 “混合适配器” 方法,仅使用每个新说话者的一分钟数据,我们的方法在语音合成中提供了一种适应多样化背景说话者的有前途的解决方案,超过了基线,观察到 5%的说话者喜好测试的明显改善,并在适配器范例下只微调适配器参数(总模型参数的 11%),实现了参数高效的说话者适应,是其类别中的首个模型。
May, 2023
提出了一种基于文本风格转换的回译方法 (TST BT),它通过文本风格转换模型修改回译数据的源语言侧,以改善自然输入的翻译质量;TST BT 在各种语言对上取得了显著的翻译效果,并被证明是一种有效的领域自适应数据增强方法。
Jun, 2023