Oct, 2023

提升无文字语音翻译中的表达能力转移

PDF
TL;DR通过离散语音单元级别的多语情感嵌入，以及有效地预测目标语言中的语音单元的音高和持续时间，本研究展示了一种能够有效捕捉跨不同语言的表达能力的新方法，通过客观和主观实验，结果显示本方法在提高传达情感和文化细微差别方面优于当前先进系统的表达能力转移。
textless speech-to-speech translation systemsself-supervised learning techniquesexpressivitydiscrete speech unit levelmultilingual emotion embeddings
发现论文，激发创造
  • 学习多语种表达性语音表示以进行无平行数据的韵律预测

    本文提出一种语音到语音的情感保留翻译方法，利用多语言情感嵌入技术来捕捉情感信息，并在英语和法语语音信号中验证了该方法的有效性。

    Jun, 2023

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • 可轉移音素嵌入的少樣本跨語言語音合成

    本文研究一种可转移的音位嵌入框架，旨在解决少样本跨语言语音合成问题。在 8 分钟以下数据提供的极少样本情况下，作者提出了包括基于音位 TTS 模型和码本模块在内的框架。通过利用音位级平均的自我监督学习特征，实现了合成语音质量的有效改进。实验证明，使用 30 秒左右数据就能够合成出可理解的说话声音。

    Jun, 2022

  • 野外情感语音识别中的跨模态转移

    本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。

    Aug, 2018

  • 一种全面级联系统、基准测试和人类评估协议，用于表达性语音翻译

    本文提出了一个将多个韵律转移技术综合起来的综合层次系统（holistic cascade system）来把源语言的情感转移到目标语言中。我们还建立了一个基准的情感测试集来评估多重情感维度。实验结果表明，这种综合建模方法优于单一方面的研究。

    Jan, 2023

  • 通过自监督表示混合和嵌入初始化最大化跨语言 TTS 适应的数据效率

    本文介绍了一种有效的迁移学习框架，用于在文本转语音系统中进行语言适应，重点是通过使用尽可能少的标记和未标记数据实现语言适应。实验结果表明，我们的框架能够仅使用 4 个标记数据和 15 分钟未标记数据合成未知语言的可懂语音，还能在可获得更多数据的情况下超越传统技术，凸显了我们的高效语言适应框架的潜力。

    Jan, 2024

  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • 具有语言信息的强调表达 TTS 技术

    提出了一种基于 EE-TTS 的强调语音合成模型，该模型利用多层语言信息进行韵律信息的预测，并同时进行语音合成和语言信息输出，并经过实验证明其优于基线模型，并且在不同数据集上也具有较强的泛化能力。

    May, 2023

  • 无文本直接语音翻译与离散语音表示

    本文提出了一种基于 Translatotron 2 的 Textless Translatotron 模型，使用预处理的无监督语音数据的语音编码器进行训练，针对缺乏书面形式的语言进行端到端的直接语音翻译，效果优于之前的最佳无文本模型，且在多语言和双语语料库上，翻译质量几乎与 Translatotron 2 相当。

    Oct, 2022

  • 使用离散化和分解表示的无文本语音情感转换

    本研究以口语语音转换为任务，将情感转换问题作为语音翻译任务，使用离散学习表示的语音信号分解，包括语音内容单元、韵律特征、说话人和情感，并使用预测表示生成神经波导器的语音波形来实现对口音内容的翻译，并通过客观和主观实验证明该方法在感知情感和音频质量方面优于当前方法，并在模型分析和消融研究中更好地强调所提方法的架构选择、优点和局限性。

    Nov, 2021