联合训练是否真的有助于级联语音翻译？
本文提出了一种端到端的可训练语音翻译模型，通过优化所有 ASR 和 MT 模型的参数而避免级联模型中的误差传播，并且通过使用人工神经网络实现 backpropagation 传递误差以实现同时提供转录和翻译，对于四个不同数据场景的实验表明，该模型在 BLEU 和 TER 方面均优于传统级联模型和直接模型。
Nov, 2020
本研究探索了一种同时实现语音转写和翻译的方法，并比较了传统串联式方法和端到端模型的表现。研究发现，直接模型不适用于这一任务，但采用耦合推理过程的端到端模型能够实现强一致性。此外，研究还引入了直接优化一致性的简单技术，并分析了一致性、转写准确性和翻译准确性之间的权衡。
Jul, 2020
本文介绍了如何使用端到端模型进行语音翻译，并在流式翻译设置中实现同时生成音频转录和翻译输出，并比较了与标准级联方法的表现，结果表明这种方法与级联模型的表现相似，但参数数量更少。
Jan, 2021
通过多任务训练，提出了一种使用两个注意力机制的端到端可训练模型，用于直接语音翻译。该模型明显优于其他基线模型，并能更有效地利用辅助训练数据，特别适合于多任务训练。
Apr, 2019
本研究提出了一种基于深度神经网络的语音增强和语音识别的联合训练方法，采用全批归一化架构有效地解决了训练难度和输入分布不稳定的问题，在各种数据集、任务和音频条件下均取得了优秀的效果。
Mar, 2017
本研究通过对自然语言翻译中的直接方法与传统叠加方法的比较，系统地展示了两种范式之间的性能差距已经消失，它们的行为差异也被证明不足以让人区分或偏好其中的一种。
Jun, 2021
我们提出了一种基于叠层系统的语音翻译方法，使用全非配对数据训练了我们的无监督系统，并采用去噪回译法提高翻译结果。研究结果显示，我们的方法可以有效解决低资源语言数据难以获取的问题，并在某些语言对上表现出可比较的效果。
May, 2023
基于多语种转换器文本到语音模型，本文研究了一个多任务学习框架来提高跨语言的说话者相似度，并提出了与说话人分类器的联合训练来进一步提高说话者相似度。通过使用多任务学习和说话人分类器联合训练，该模型在主观和客观评估中，可以持续地提高训练集中已知和未知说话者的跨语言说话者相似度。
Jan, 2022