语音的一致转录和翻译

ACLJul, 2020

Consistent Transcription and Translation of Speech

Matthias Sperber, Hendra Setiawan, Christian Gollan, Udhyakumar Nallasamy, Matthias Paulik

TL;DR本研究探索了一种同时实现语音转写和翻译的方法，并比较了传统串联式方法和端到端模型的表现。研究发现，直接模型不适用于这一任务，但采用耦合推理过程的端到端模型能够实现强一致性。此外，研究还引入了直接优化一致性的简单技术，并分析了一致性、转写准确性和翻译准确性之间的权衡。

Abstract

The conventional paradigm in speech translation starts with a speech recognition step to generate transcripts, followed by a translation step with the automatic transcripts as input. To address various shortcomings of this paradigm, recent work explores end-to-end trainable direct mode

speech translation end-to-end models transcription translation accuracy consistency

发现论文，激发创造

联合语音识别和翻译的流式模型

本文介绍了如何使用端到端模型进行语音翻译，并在流式翻译设置中实现同时生成音频转录和翻译输出，并比较了与标准级联方法的表现，结果表明这种方法与级联模型的表现相似，但参数数量更少。

Jan, 2021

语音翻译与端到端的承诺：回顾我们的现状

本文介绍了语音翻译技术从松散耦合的串联模型到紧耦合再到最近备受关注的端到端模型的发展历程，讨论了传统方法所面临的主要挑战和最新方法对克服这些问题的方案。通过对传统和最新方法进行统一分类和命名，以解决语音识别和数据缺失问题等开放性研究问题。

Apr, 2020

紧密集成的级联语音翻译端到端训练

本文提出了一种端到端的可训练语音翻译模型，通过优化所有 ASR 和 MT 模型的参数而避免级联模型中的误差传播，并且通过使用人工神经网络实现 backpropagation 传递误差以实现同时提供转录和翻译，对于四个不同数据场景的实验表明，该模型在 BLEU 和 TER 方面均优于传统级联模型和直接模型。

Nov, 2020

用于稳健和高效数据的端到端语音翻译的关注传递模型

通过多任务训练，提出了一种使用两个注意力机制的端到端可训练模型，用于直接语音翻译。该模型明显优于其他基线模型，并能更有效地利用辅助训练数据，特别适合于多任务训练。

Apr, 2019

听写翻译：端到端语音转文本翻译的概念验证

本文是第一篇尝试构建不使用源语言转录的端到端语音到文本翻译系统的论文，并提出了一种直接语音到文本翻译的模型，在一小部分法英人造语料库上取得了有希望的结果。

Dec, 2016

端到端语音到文本翻译：综述

语音到文本翻译中的端到端模型的综述，包括模型、评估指标和数据集，提供了挑战和未来研究方向的新见解。

Dec, 2023

交互解码同步语音识别与语音文本翻译

本文提出了一种新的交互式注意机制，使自动语音识别和语音翻译在单个模型中可以同步地和交互地进行，实验表明，该模型在语音翻译和语音识别方面的性能表现均优于基线模型。

Dec, 2019

利用同步的流式 ASR 辅助的直接同声传译

本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

Jun, 2021

基于序列到序列模型的直接语音到语音翻译

该研究提出了一种基于注意力机制的端到端学习的序列到序列神经网络，能够直接将一种语言的语音翻译成另一种语言的语音，无需中间文本表示，该方法通过学习将语音谱图映射到目标语言的谱图，同时也演示了译后语音合成的能力。研究在两个西班牙语到英语的语音翻译数据集上进行了实验，证明了该方法在这个极具挑战的任务上的可行性。

Apr, 2019

联合训练是否真的有助于级联语音翻译？

本文讨论语音翻译中级联系统带来的挑战以及应对这些挑战的方法，研究表明，直接利用数据进行联合训练无法显著提高级联系统的性能，建议寻找其他有效的方法来提高语音翻译的效率。

Oct, 2022