May, 2023

ADAPTERMIX：探索使用多种适配器的混合模型以提升低资源 TTS 自适应效果

PDF
TL;DR通过 “混合适配器” 方法，仅使用每个新说话者的一分钟数据，我们的方法在语音合成中提供了一种适应多样化背景说话者的有前途的解决方案，超过了基线，观察到 5％的说话者喜好测试的明显改善，并在适配器范例下只微调适配器参数（总模型参数的 11％），实现了参数高效的说话者适应，是其类别中的首个模型。
speaker adaptationtext-to-speechmixture of adaptersparameter-efficientspeech synthesis
发现论文，激发创造
  • 用于少样本文本转语音说话人自适应的剩余适配器

    本研究提出了一种参数高效的少样本说话人自适应方法，通过使用可训练轻量级模块 (residual adapters) 来增加骨干模型 (backbone model) 实现对各种目标说话人的共享，可以在保持语音自然性和说话人相似性的同时仅使用上亿模型参数的 0.1％。

    Oct, 2022

  • 轻量级零样本文本转语音与适配器混合模型

    基于大规模模型的零样本文本转语音（TTS）方法的进步展示了高保真度的说话者特征重现，但这些模型过于庞大以至于无法实际日常使用。我们提出了一种使用混合适配器（MoA）的轻量级零样本 TTS 方法。我们的方法将 MoA 模块整合到非自回归 TTS 模型的解码器和方差适配器中，通过根据说话者嵌入选择与说话者特征相关的适配器，以零样本方式增强了适应各种说话者的能力。我们的方法以最小的附加参数实现了高质量的语音合成。通过客观和主观评估，我们确认我们的方法在比基准少 40% 的参数下以 1.9 倍的推理速度实现了更好的性能。可以在我们的演示页面（此 https 网址）上找到音频样本。

    Jul, 2024

  • 多语音识别中的代码切换适配器适应

    本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

    Oct, 2023

  • 预训练语音模型的高效适配器调优用于自动说话人验证

    通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

    Mar, 2024

  • 低资源情景下 TTS 系统的语言适应初探

    本文探讨了基于自监督学习 (SSL) 多语言模型的 ZMM-TTS 语言适应能力，研究发现了预训练语言和目标语言的语音学相似性、语言类别、微调数据集大小以及说话人数量对适应性的影响，并且发现相对于配对数据，仅音频数据在微调中并不总是最优选择。同时，研究还包括了说话人相似度、语言识别以及预测的 MOS。

    Jun, 2024

  • 低资源语言种的高效测试时间适配器集成

    本文提出了使用现有语言适配器组合来改善跨语言迁移效果的方法，该方法名为 “Entropy Minimized Ensemble of Adapters (EMEA)”，在实验中取得了显著的实体识别和词性标注提高。

    Sep, 2021

  • 针对非典型和带口音语音的参数高效 ASR 适应的残差适配器

    本文阐述了在处理非典型和带有重重口音的语音时，通过添加所谓的残差适配器，可以在只更新模型的极小部分参数时实现类似于模型微调的效果，从而优化 ASR 系统的性能。

    Sep, 2021

  • USAT: 通用说话者自适应文本转语音方法

    现有的文本转语音（TTS）研究主要致力于提高训练数据集中演讲者合成语音的质量。为迎接有限参考数据的见外 / 未训练演讲者进一步合成真实语音的挑战，我们提出了一个整合了零样本和少样本演讲者适应策略的框架。

    Apr, 2024

  • 使用任务适配器混合来提升小型语言模型的多任务学习能力

    ALTER 是一个基于小型语言模型的多任务学习系统，它通过混合任务适应器来同时处理多个自然语言处理任务，以支持领域特定的应用。实验证明，ALTER 提出的 MTA 架构和二阶段训练方法实现了良好的性能。

    Sep, 2023

  • M 适配器：端到端语音到文本翻译的语言形式适应

    本研究提出一种新型基于 Transformer 的 M-Adapter 方法，通过建模语音序列的全局和局部依赖关系，将语音表示特征适应到文字输入上，以缩小语音输出和文字输入之间的模态差距，从而提高端到端语音到文本翻译的质量，并在 Must-C En→DE 数据集上获得比强基准模型高达 1 BLEU 得分的表现。

    Jul, 2022