AAAIDec, 2021

使用三角分解协议正则化端到端语音翻译

PDF
TL;DR本文介绍了一种新颖的正则化方法用于 E2E-ST 系统的训练，并在 MuST-C 基准测试中显著优于现有技术，该正则化方法通过对 KL 散度进行约束，以更好地利用音频文字翻译三元组数据。
end-to-end speech-to-text translatione2e-st systemregularization methodkullback-leibler divergencemust-c benchmark
发现论文，激发创造
  • 无参数领域自适应端到端语音翻译

    本文提出了一种基于领域特定文本翻译语料库的非参数方法，用于增强 E2E-ST 系统在领域自适应中的效果，实验结果表明，相比于强烈的领域内微调方法，该方法在所有翻译方向上的平均基线 BLEU 值提高了 12.82 BLEU，甚至超过了强大的领域内微调方法。

    May, 2022

  • 从零开始重新审视端到端的语音到文本翻译

    本文通过重新审视机器翻译中的 ST 和文本翻译任务技术，提出了一套训练 E2E ST 系统的最佳实践，其中包括参数化距离惩罚、模拟本地化技术等。实验表明，在不使用转录文本和预训练的情况下，该系统可以达到并甚至超过之前使用预训练方法的研究水平，对于极低资源环境依然有差距。此外，我们还首次证明了神经声学特征建模的可行性，并在 ST 任务中取得了令人鼓舞的效果。

    Jun, 2022

  • 选择性数据增强对于强健的语音翻译的影响

    该论文介绍了使用端到端系统和噪声机器翻译数据增强策略来改进语音翻译，提高 BLEU 分数，该方法应用于英语 - 印地语语音翻译。

    Mar, 2023

  • 通过跨模态多粒度对比学习提高语音翻译质量

    该论文提出了一种 FCCL 方法，通过跨模态多粒度对比学习来实现显式知识转移，该方法在多语言和多粒度上显著优于 E2E-ST 基线，有助于提取包含丰富语义信息的语音表示。

    Apr, 2023

  • 联合语音识别和翻译的流式模型

    本文介绍了如何使用端到端模型进行语音翻译，并在流式翻译设置中实现同时生成音频转录和翻译输出，并比较了与标准级联方法的表现，结果表明这种方法与级联模型的表现相似，但参数数量更少。

    Jan, 2021

  • 端到端语音到文本翻译中一致性正则化的实证研究

    通过经验研究，本文针对端到端语音转文本翻译提出了两种训练策略：SimRegCR 和 SimZeroCR，以实现一致性正则化的最新性能。在 MuST-C 基准测试中，在大多数翻译方向上，我们的方法取得了最先进的性能。分析证明，由内部一致性带来的正则化对于常规的端到端语音转文本翻译至关重要，而跨模态一致性可消除模态差异并提升零 - shot 端到端语音转文本翻译性能。

    Aug, 2023

  • 利用弱监督数据提高端到端的语音到文本翻译

    本文探讨了使用预训练的机器翻译或文本到语音合成模型将弱监督数据转化为语音到翻译对对于 ST 的训练比多任务学习效果更好的问题，展示了只使用弱监督数据即可以获得高质量的终到端 ST 模型，并讨论了避免模型对合成的语音过度拟合的方法。

    Nov, 2018

  • 并联自回归重评分的非自回归端到端语音翻译

    本文提出了一种基于非自回归模型 (NAR) 的高效端到端语音翻译 (E2E-ST) 系统 ——Orthros，使用条件掩蔽语言模型 (CMLM) 和连接主义时间分类 (CTC) 模型作为 NAR 解码器，并采用两种训练方法来增强 CMLM 解码器。实验表明，在三个基准数据集及六个语言方向上，Orthros-CTC 以 Conformer 编码器为基础的模型在保证翻译质量的前提下，将解码速度提高了 3.63 倍。

    Sep, 2021

  • 知识蒸馏技术下的端到端语音翻译

    本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译 (ST) 模型的性能，通过从文本翻译模型中转移知识来训练 ST 模型。在英法增广 LibriSpeech 和英汉 TED 语料库上的实验结果表明，使用该方法可以对相似和不相似的语言对进行端到端 ST 实现，并且在老师模型的指导下，端到端 ST 模型可以取得 3.5 个 BLEU 分数的显着提升。

    Apr, 2019

  • 听、懂、翻译：三重监督解耦端到端语音翻译

    本文提出 Listen-Understand-Translate (LUT) 统一框架，利用三重信号指导对端到端语音到文本翻译任务进行解耦，成功地应用于各种语音翻译基准测试中，实现了最先进的性能，优于以前的方法。

    Sep, 2020