Translatotron 2: 高质量带声音保留的直接语音翻译

ICMLJul, 2021

Translatotron 2: 高质量带声音保留的直接语音翻译

Translatotron 2: High-quality direct speech-to-speech translation with voice preservation

Ye Jia, Michelle Tadmor Ramanovich, Tal Remez, Roi Pomerantz

TL;DR该研究提出了 Translatotron 2，一种神经直接语音转语音翻译模型，它具备优秀的翻译质量和语音生成质量，并推出了一种简单方法来保留语音翻译时原始说话者声音，与现有方法相比，它更好地保留了说话者的隐私。

Abstract

We present Translatotron 2, a neural direct speech-to-speech translation model that can be trained end-to-end. Translatotron 2 consists of a speech encoder, a linguistic decoder, an acoustic synthesizer, and a single attention module that connects them together. Experimental results on

speech-to-speech translation neural network translation quality speaker voice preservation privacy

发现论文，激发创造

Translatotron 3: 利用单语料进行语音翻译

本文提出了 Translatotron 3，一种无需监督数据集即可以直接语音为输入，并通过采用掩码自编码器、无监督嵌入式映射和回译相结合的方式进行训练的翻译模型。在西班牙语与英语之间的语音到语音翻译任务中，实验结果显示，Translatotron 3 优于基线级联系统，在不配对会话数据集上报告 18.14 个 BLEU 点的改进。与需要现实数据集或专业模型复制非语言信息的监督方法相比，Translatotron 3 展示了保留非语言信息，如停顿、说话速度和说话者身份的能力。

May, 2023

基于序列到序列模型的直接语音到语音翻译

该研究提出了一种基于注意力机制的端到端学习的序列到序列神经网络，能够直接将一种语言的语音翻译成另一种语言的语音，无需中间文本表示，该方法通过学习将语音谱图映射到目标语言的谱图，同时也演示了译后语音合成的能力。研究在两个西班牙语到英语的语音翻译数据集上进行了实验，证明了该方法在这个极具挑战的任务上的可行性。

Apr, 2019

无文本直接语音翻译与离散语音表示

本文提出了一种基于 Translatotron 2 的 Textless Translatotron 模型，使用预处理的无监督语音数据的语音编码器进行训练，针对缺乏书面形式的语言进行端到端的直接语音翻译，效果优于之前的最佳无文本模型，且在多语言和双语语料库上，翻译质量几乎与 Translatotron 2 相当。

Oct, 2022

TransVIP: 保留声音和等时性的语音到语音翻译系统

该研究介绍了一种名为 TransVIP 的新模型框架，该模型通过级联方式利用多样的数据集，在维持发言者的声音特征和等时性的同时实现端到端推理，适用于视频配音等场景，并在法英语言对上的实验中表现出优于当前最先进的语音到语音翻译模型的性能。

May, 2024

使用离散单元进行直接语音到语音翻译

本研究提出一种直接语音到语音的翻译模型，它可以在不依赖中间文本生成的情况下将一种语言的语音翻译成另一种语言的语音，并且结合了自我监督离散语音编码和序列到序列的语音到单位翻译，以预测目标语音的离散表示，并在同一推断通过实现同步生成双重模态输出（语音和文本）。在 Fisher 西班牙语 - 英语数据集上，我们的模型较基线直接 S2ST 模型改进了 6.7 BLEU。由于能够支持未书写语言的翻译，当没有文本转录时，我们的模型表现与训练有文本监督的谱图预测模型相当。

Jul, 2021

TransFace：基于单元的视听语音合成器，用于说话头部翻译

通过自监督学习获得的离散单元，直接语音翻译实现高质量结果，克服了模型级联带来的延迟和级联错误；本文提出了一种名为 TransFace 的模型，用于直接将视听语音翻译成其他语言的视听语音，通过语音到单元翻译模型和基于单元的视听语音合成器 Unit2Lip 实现音频与视频的同步语音重新合成，进一步引入了有界时长预测器以确保等时转头说话的翻译并防止重复参考帧

Dec, 2023

Deep Voice 2: 多说话人神经文本转语音

介绍了一种使用低维度可训练说话人嵌入的神经文本转语音技术，可以从单个模型生成不同的声音，并构建了具有高性能的构建组件：Deep Voice2 和后处理神经语音合成器的 Tacotron，通过两个多说话人 TTS 数据集演示了多说话人语音合成技术。

May, 2017

利用无监督和弱监督数据，提高直接语音翻译的准确性

本文旨在通过多种方法利用无监督和弱监督的语音和文本数据来提高基于 Translatotron 2 的直接语音到语音翻译系统的性能，实现在 21 种语言对上 BLEU 值提高 13.6（相对增长 113%），特别是对于低资源语言的提高更为显著（相对增长 398%）

Mar, 2022

SimulTron: 设备本地实时语音翻译

SimulTron 是一种轻量级的直接 S2ST 模型，通过在移动设备上进行实时评估，优于 Translatotron 1 的性能，并在 MuST-C 数据集上实现了优越的 BLEU 得分和延迟，展示了在 Pixel 7 Pro 设备上同时进行 S2ST 的潜力。

Jun, 2024

Cotatron: 无需并行数据的基于转录的语音编码器实现任意 - 多语音转换

本文提出了一种基于音素后验概率的 Cotatron 语音编码器，其可以使用常规的 TTS 数据集进行训练，通过使用该编码器，我们的系统可以转换未曾见过的说话人的语音，并实现自动转录。

May, 2020