零 - shot 多语言机器翻译技术应对语音翻译中的数据稀缺

Jan, 2022

零 - shot 多语言机器翻译技术应对语音翻译中的数据稀缺

Tackling data scarcity in speech translation using zero-shot multilingual machine translation techniques

Tu Anh Dinh, Danni Liu, Jan Niehues

TL;DR研究了利用多语言文本翻译中零样本翻译技术在语音翻译中的应用，成功地应用数据增强和辅助损失函数技术提升了有限语音翻译数据的效率和准确率。

Abstract

Recently, end-to-end speech translation (ST) has gained significant attention as it avoids error propagation. However, the approach suffers from data scarcity. It heavily depends on direct ST data and is less efficient in making use of speech transcription and text translation data, wh

end-to-end speech translation data scarcity zero-shot translation data augmentation auxiliary loss function

发现论文，激发创造

逐步推进零尾到尾语音翻译的极限

该论文介绍了一种名为 ZeroSwot 的零样本语音翻译方法，通过利用新颖的 CTC 压缩和最优传输技术，在没有配对的语音翻译数据的情况下，通过仅使用语音识别数据训练语音编码器，实现了语音到文本的直接翻译，展示了该方法在模态差异上的优越性和超越之前的零样本模型以及有监督模型的实验结果，达到了最先进的效果。

Feb, 2024

利用弱监督数据提高端到端的语音到文本翻译

本文探讨了使用预训练的机器翻译或文本到语音合成模型将弱监督数据转化为语音到翻译对对于 ST 的训练比多任务学习效果更好的问题，展示了只使用弱监督数据即可以获得高质量的终到端 ST 模型，并讨论了避免模型对合成的语音过度拟合的方法。

Nov, 2018

基于形式不可知元学习的数据高效直接语音翻译

本文提出了一种基于元学习算法采用模态不可知的多任务模型，将源任务 ASR + MT 的知识转移到目标任务 ST 中，以应对 ST 任务短缺数据的问题，该方法在英德和英法语音翻译任务中取得了最新的最佳性能结果。

Nov, 2019

选择性数据增强对于强健的语音翻译的影响

该论文介绍了使用端到端系统和噪声机器翻译数据增强策略来改进语音翻译，提高 BLEU 分数，该方法应用于英语 - 印地语语音翻译。

Mar, 2023

无需文本的语音转文本反向翻译

采用自监督离散单元并将目标语言数据转化为人工翻译的语言模拟数据的 back translation for speech-to-text translation（BT4ST）方法，可有效解决资源不足情境下进行端到端语音转文本翻译的问题。

May, 2023

利用无监督和弱监督数据，提高直接语音翻译的准确性

本文旨在通过多种方法利用无监督和弱监督的语音和文本数据来提高基于 Translatotron 2 的直接语音到语音翻译系统的性能，实现在 21 种语言对上 BLEU 值提高 13.6（相对增长 113%），特别是对于低资源语言的提高更为显著（相对增长 398%）

Mar, 2022

多语言一对多端到端语音翻译

本文旨在通过使用多语言方法探究转移学习在以端到端神经模型进行口语翻译中的有效性，结果表明，使用目标语言嵌入语义空间可以更有效地区分不同目标语言并改进结果，其中当对相似语言进行翻译时效果更为显著，特别是数据不足的情况下。

Oct, 2019

多语言端到端语音翻译

本文提出了一种简单且有效的多语言端到端语音翻译框架，并证明了其在自动语音识别、机器翻译、一对多翻译以及多对多翻译中的有效性以及相对于双语端到端语音翻译的优势。

Oct, 2019

跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

Mar, 2024

真实数据上的无字幕语音翻译

我们提出了一种无需文本数据即可构建的无文本语音到语音翻译系统，采用了自监督单元级别的语音标准化技术来优化多说话者语音的模型，仅使用了 10 分钟的数据训练该技术，可在 VoxPopuli S2ST 数据集上实现平均 3.2 BLEU 分数的增益，是首次建立了可用于多种语言对的无文本 S2ST 技术。

Dec, 2021