Sep, 2023

跨模态多任务语音转文字翻译与参数共享

PDF
TL;DR最近的研究在端到端语音到文本翻译（ST）中提出了多任务方法，通过辅助编码器将机器翻译（MT）数据映射到最终的跨模态表示中，采用软参数共享。本研究提出了一种具有硬参数共享的 ST/MT 多任务框架，通过预处理阶段将语音和文本输入转换为两个长度相似的离散令牌序列，从而减少了语音 - 文本模态差异。通过在 MuST-C 上的实验，我们证明了我们的多任务框架平均提高了 0.5 BLEU 的关注编码器 - 解码器、连接时序分类（CTC）、转录器和联合 CTC / 关注模型，而无需外部 MT 数据。此外，我们还展示了这个框架的融入外部 MT 数据可以产生 0.8 BLEU 的改进，并且可以提高从预训练的文本模型进行迁移学习，从而产生 1.8 BLEU 的改进。
end-to-end speech-to-text translationmulti-tasking methodshard parameter sharingmodality gap reductionbleu improvement
发现论文，激发创造
  • 基于形式不可知元学习的数据高效直接语音翻译

    本文提出了一种基于元学习算法采用模态不可知的多任务模型，将源任务 ASR + MT 的知识转移到目标任务 ST 中，以应对 ST 任务短缺数据的问题，该方法在英德和英法语音翻译任务中取得了最新的最佳性能结果。

    Nov, 2019

  • 重思和改进端到端语音翻译的多任务学习

    通过应用多任务学习，已经在端到端语音翻译中取得了显著的改进。本文研究了不同任务之间的一致性，并提出了一种改进的多任务学习方法，通过缓解长度和表征的差异来弥合模态间的差距。实验证明我们的方法达到了最先进的结果。此外，当使用额外的数据时，我们在 MuST-C 英语到西班牙语任务上以当前最先进方法所需的 20.8% 的训练时间取得了新的最先进结果。

    Nov, 2023

  • 通过理解和学习辅助文本翻译任务来提高语音翻译

    本文研究了在多任务学习框架下，辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案，提出三种方法以提高翻译质量，实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。

    Jul, 2021

  • 理解和弥合语音翻译的模态差距

    本文研究对于 ST 和 MT 之间的通道差，提出了一种名为 Cress 的跨模态规范化方法。通过输出 ST 和 MT 的预测值，使用采样和不同训练权重来处理难以处理的情况，实现了在 MuST-C 数据集的八个方向上取得了显著效果。

    May, 2023

  • 语音到文本转换的共享语义空间学习

    该论文提出了一种名为 Chimera 的方法，该方法通过投影音频和文本特征到一个共同的语义表示来统一文本翻译和语音翻译任务，从而提高了 MuST-C 和 Augmented Librispeech 的 ST 基准性能至新的最先进水平。

    May, 2021

  • 通过跨模态多粒度对比学习提高语音翻译质量

    该论文提出了一种 FCCL 方法，通过跨模态多粒度对比学习来实现显式知识转移，该方法在多语言和多粒度上显著优于 E2E-ST 基线，有助于提取包含丰富语义信息的语音表示。

    Apr, 2023

  • 利用文本数据增强语音转文本任务的通用多任务学习框架

    本文提出了一种多任务学习框架，利用文本数据来提高自动语音识别和语音翻译的性能，其中包括基于注意力的序列到序列建模、去噪自动编码器、机器翻译等技术。在英语语音识别任务中，该方法相对于基线线下降了 10~15% 的词错误率，在 MuST-C 任务中有 3.6~9.2 BLEU 的提高。

    Oct, 2020

  • 融合语音和文本改进语音翻译

    该研究提出了 FST 跨模态模型，支持语音、文本和语音文本融合三种不同类型的输入模态进行翻译，技术包括多模态对齐等方法，实验结果表明该模型在多项测试中比传统方法有显著提升，尤其是在语音翻译领域。

    May, 2023

  • 零對應跨模態轉換的模塊化語音轉文本翻譯

    通过独立训练的编码器和解码器，通过共享的固定大小表示组合，可以在语音到文本翻译中取得竞争力的性能，本研究表明这种方法可以通过多语种训练进一步改进，我们观察到在零 - shot 跨模态语音翻译中显著提高，甚至在几种语言上胜过基于 XLSR 的有监督方法。

    Oct, 2023

  • 弥合语音到文本翻译的模态差距

    提出了一种称作 STAST 的语音转写自适应模型，通过分离语音翻译编码器为三个部分以及引入跨模态自适应方法来缩小语音和文本的模态差距，进而在英法和英德语音翻译数据集上实现了显著的性能优越。

    Oct, 2020