Jan, 2023

一种全面级联系统、基准测试和人类评估协议，用于表达性语音翻译

PDF
TL;DR本文提出了一个将多个韵律转移技术综合起来的综合层次系统（holistic cascade system）来把源语言的情感转移到目标语言中。我们还建立了一个基准的情感测试集来评估多重情感维度。实验结果表明，这种综合建模方法优于单一方面的研究。
speech-to-speech translationprosodic attributesexpressive s2stbenchmark datasetshuman evaluation protocol
发现论文，激发创造
  • SeamlessExpressiveLM: 链条思维情感语言模型用于表达性语音到语音翻译

    提出了 SeamlessExpressiveLM，一个用于表情化语音到语音翻译的单一语言模型，通过分解复杂的源到目标语音映射为中间生成步骤，并结合思维链引导模型，实现了在西班牙语到英语和匈牙利语到英语翻译中优于级联语言模型的语义质量和风格转移效果，同时实现了更好的参数效率。

    May, 2024

  • CrossVoice：使用迁移学习的跨语言韵律保持级联 S2ST

    该论文介绍了 CrossVoice，这是一种采用先进的 ASR、MT 和 TTS 技术的级联式语音到语音翻译（S2ST）系统，通过迁移学习实现跨语言语调保留。我们通过与直接 S2ST 系统的全面实验比较，展示了在 Fisher Es-En、VoxPopuli Fr-En 等任务中，CrossVoice 在 BLEU 分数上的改进以及在基准数据集 CVSS-T 和 IndicTTS 上的语调保留能力。通过平均 4 分中的 3.75 的意见得分，CrossVoice 合成的语音与基准上的人类语音接近，突出了级联式系统和迁移学习在多语言 S2ST 中的有效性。

    May, 2024

  • 级联和直接语音到文本翻译中的韵律学：以韩语 Wh 短语为例的案例研究

    直接语音到文本翻译系统可以有效利用韵律，具有比级联翻译模型更高的准确性和意图分类效果。

    Feb, 2024

  • 使用离散单元进行直接语音到语音翻译

    本研究提出一种直接语音到语音的翻译模型，它可以在不依赖中间文本生成的情况下将一种语言的语音翻译成另一种语言的语音，并且结合了自我监督离散语音编码和序列到序列的语音到单位翻译，以预测目标语音的离散表示，并在同一推断通过实现同步生成双重模态输出（语音和文本）。在 Fisher 西班牙语 - 英语数据集上，我们的模型较基线直接 S2ST 模型改进了 6.7 BLEU。由于能够支持未书写语言的翻译，当没有文本转录时，我们的模型表现与训练有文本监督的谱图预测模型相当。

    Jul, 2021

  • 面向现实无文字语言的语音翻译

    该论文以英文 - 台湾闽南语为案例，研究了语音到语音的翻译，包括数据收集、建模和基准数据集的发布。通过人工注释、数据自动挖掘以及伪标注方法，收集了大量数据。在模型训练中，结合最近的自监督离散表示的应用以及与福建话相似的普通话文本监督，取得了良好的效果。最后，该论文推出了一个 S2ST 基准数据集，以助于未来的研究。

    Nov, 2022

  • 结合语音和双语文本的联合预训练，用于直接语音翻译

    本文提出了一种基于不对称数据的语音到语音模型 Speech2S，利用双语文本数据训练模型可以有效地模拟跨语言的语音转换，实验结果显示，Speech2S 的表现比现有的最先进模型更好。

    Oct, 2022

  • 利用多个 TTS 目标提升语音翻译

    通过分析不同合成目标语音对直接语音翻译模型的影响，本文提出了一个多任务框架，通过同时优化不同 TTS 系统的多个目标来提高 S2ST 表现，在 Fisher 西班牙语 - 英语数据集上实现了 2.8 BLEU 的一致改善效果。

    Apr, 2023

  • 利用无监督和弱监督数据，提高直接语音翻译的准确性

    本文旨在通过多种方法利用无监督和弱监督的语音和文本数据来提高基于 Translatotron 2 的直接语音到语音翻译系统的性能，实现在 21 种语言对上 BLEU 值提高 13.6（相对增长 113%），特别是对于低资源语言的提高更为显著（相对增长 398%）

    Mar, 2022

  • 提升无文字语音翻译中的表达能力转移

    通过离散语音单元级别的多语情感嵌入，以及有效地预测目标语言中的语音单元的音高和持续时间，本研究展示了一种能够有效捕捉跨不同语言的表达能力的新方法，通过客观和主观实验，结果显示本方法在提高传达情感和文化细微差别方面优于当前先进系统的表达能力转移。

    Oct, 2023

  • AV-TranSpeech: 音视觉鲁棒语音 - 语音翻译

    AV-TranSpeech 是第一种不依赖中间文本的视听信息补充模型，通过自监督预训练和跨模态蒸馏，可以有效提高低资源视听数据的语音转换性能。

    May, 2023