Apr, 2019

基于序列到序列模型的直接语音到语音翻译

PDF
TL;DR该研究提出了一种基于注意力机制的端到端学习的序列到序列神经网络，能够直接将一种语言的语音翻译成另一种语言的语音，无需中间文本表示，该方法通过学习将语音谱图映射到目标语言的谱图，同时也演示了译后语音合成的能力。研究在两个西班牙语到英语的语音翻译数据集上进行了实验，证明了该方法在这个极具挑战的任务上的可行性。
sequence-to-sequence neural networkspeech translationattention-basedend-to-end learningspectrograms
发现论文，激发创造
  • 序列对序列模型可直接翻译外语

    我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。

    Mar, 2017

  • 使用离散单元进行直接语音到语音翻译

    本研究提出一种直接语音到语音的翻译模型，它可以在不依赖中间文本生成的情况下将一种语言的语音翻译成另一种语言的语音，并且结合了自我监督离散语音编码和序列到序列的语音到单位翻译，以预测目标语音的离散表示，并在同一推断通过实现同步生成双重模态输出（语音和文本）。在 Fisher 西班牙语 - 英语数据集上，我们的模型较基线直接 S2ST 模型改进了 6.7 BLEU。由于能够支持未书写语言的翻译，当没有文本转录时，我们的模型表现与训练有文本监督的谱图预测模型相当。

    Jul, 2021

  • 使用瓶颈特征进行直接语音到语音翻译，无需文本注释

    提出了一种无需文本标注的直接语音翻译模型，使用瓶颈特征作为中间训练目标，可在普通话 - 粤语语音翻译上实现与级联系统相同的翻译和合成质量。

    Dec, 2022

  • 听写翻译：端到端语音转文本翻译的概念验证

    本文是第一篇尝试构建不使用源语言转录的端到端语音到文本翻译系统的论文，并提出了一种直接语音到文本翻译的模型，在一小部分法英人造语料库上取得了有希望的结果。

    Dec, 2016

  • Translatotron 2: 高质量带声音保留的直接语音翻译

    该研究提出了 Translatotron 2，一种神经直接语音转语音翻译模型，它具备优秀的翻译质量和语音生成质量，并推出了一种简单方法来保留语音翻译时原始说话者声音，与现有方法相比，它更好地保留了说话者的隐私。

    Jul, 2021

  • 多语言端到端语音翻译

    本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

    Oct, 2019

  • 用于稳健和高效数据的端到端语音翻译的关注传递模型

    通过多任务训练，提出了一种使用两个注意力机制的端到端可训练模型，用于直接语音翻译。该模型明显优于其他基线模型，并能更有效地利用辅助训练数据，特别适合于多任务训练。

    Apr, 2019

  • 未转录未知语言之间的语音翻译

    本文提出了一种无需转录或语言监督的训练语音翻译的方法，使用自监督无监督组合的离散量化自动编码器进行训练，然后使用序列到序列模型将源语言语音直接映射到目标语言的离散表示上，最终实现无需先训练或辅助步骤即可直接生成目标语音；该方法是第一次在未经转录的未知语言之间进行纯语音翻译的研究。

    Oct, 2019

  • 直接语音转文本翻译的最新进展

    本文综述了直接语音翻译的当前技术状况，将现有研究工作分为三个方向：建模负担，数据稀缺和应用问题，并提出了未来工作的一些有前途的方向。

    Jun, 2023

  • 无监督语音文本翻译

    本文提出了一种基于单语音频和文本语料库的语音翻译系统框架，使用交叉模态双语词典将每个源语音片段对应到目标文本翻译，通过使用语言模型和序列去噪自编码器，对每个音频片段进行逐字翻译来提高翻译质量，实验结果表明，我们的无监督系统尽管没有监督，但达到了与监督方法相比可比的 BLEU 分数。

    Nov, 2018